1. 程式人生 > >機器學習效能評估指標(精確率、召回率、ROC、AUC)

機器學習效能評估指標(精確率、召回率、ROC、AUC)

實際上非常簡單,精確率是針對我們預測結果而言的,它表示的是預測為正的樣本中有多少是對的。那麼預測為正就有兩種可能了,一種就是把正類預測為正類(TP),另一種就是把負類預測為正類(FP)。

                      P = TP/(TP+FP)

召回率是針對我們原來的樣本而言的,它表示的是樣本中的正例有多少被預測正確了。那也有兩種可能,一種是把原來的正類預測成正類(TP),另一種就是把原來的正類預測為負類(FN)。

                      R = TP/(TP+FN)             T

此處輸入圖片的描述

在資訊檢索領域,精確率和召回率又被稱為查準率查全率

ROC 曲線

我們先來看下維基百科的定義,

比如在邏輯迴歸裡面,我們會設一個閾值,大於這個值的為正類,小於這個值為負類。如果我們減小這個閥值,那麼更多的樣本會被識別為正類。這會提高正類的識別率,但同時也會使得更多的負類被錯誤識別為正類。為了形象化這一變化,在此引入 ROC ,ROC 曲線可以用於評價一個分類器好壞。

ROC 關注兩個指標,

直觀上,TPR 代表能將正例分對的概率,FPR 代表將負例錯分為正例的概率。在 ROC 空間中,每個點的橫座標是 FPR,縱座標是 TPR,這也就描繪了分類器在 TP(真正率)和 FP(假正率)間的 trade-off2

此處輸入圖片的描述

AUC

AUC(Area Under Curve)被定義為ROC曲線下的面積,顯然這個面積的數值不會大於1。

翻譯過來就是,隨機挑選一個正樣本以及一個負樣本,分類器判定正樣本的值高於負樣本的概率就是 AUC 值。

簡單說:AUC值越大的分類器,正確率越高3

  • 完美分類器,採用這個預測模型時,不管設定什麼閾值都能得出完美預測。絕大多數預測的場合,不存在完美分類器。
  • ,優於隨機猜測。這個分類器(模型)妥善設定閾值的話,能有預測價值。
  • ,跟隨機猜測一樣(例:丟銅板),模型沒有預測價值。
  • ,比隨機猜測還差;但只要總是反預測而行,就優於隨機猜測,因此不存在  的情況。

此處輸入圖片的描述

迴歸4

平均絕對誤差

平均絕對誤差MAE(Mean Absolute Error)又被稱為  範數損失(l1-norm loss):

平均平方誤差

平均平方誤差 MSE(Mean Squared Error)又被稱為  範數損失(l2-norm loss):