1. 程式人生 > >模型評估【PR|ROC|AUC】

模型評估【PR|ROC|AUC】

假設 簡單 都是 意義 優點 一是 acc 個數 str

這裏主要講的是對分類模型的評估。

1、準確率(Accuracy)

準確率的定義是:【分類正確的樣本】 / 【總樣本個數】,其中分類正確的樣本是不分正負樣本的

優點:簡單粗暴

缺點:當正負樣本分布不均衡的情況(假設一種極端情況,正樣本1個,負樣本99個),此時即使一個比較差的模型(只會將所用的樣本預測成負樣本),那它也有99%的準確率。

總結一下就是 當樣本分布不均勻,該指標意義不大

改進方案: 1、在不同樣本分類下求它的準確率,然後取平均值

2、選取其他評價指標

2、PR曲線

Precision(精準率):【分類正確的正樣本個數】/【被預測為正樣本的個數】

Recall(召回率):【分類正確的正樣本個數】/【真實中正樣本的個數】

Precision 與 Recall是一對既矛盾又統一的變量

矛盾是指:如果想要高的 精準率,也就要求模型要非常強,強到 預測為正樣本的樣本 全部都是正確的,此時Precision=1,而

統一是指:

模型評估【PR|ROC|AUC】