1. 程式人生 > 其它 >混淆矩陣、精度、召回率、ROC、AUC

混淆矩陣、精度、召回率、ROC、AUC

因為自己總記不太清具體的意義,這裡梳理一下:

這裡的TP、FN、FP、TN,其實真正對應的都說的是預測

TP:真的正樣本(預測),實際也是正樣本

FN:假的負樣本(預測),實際也是正樣本

FP:假的正樣本(預測),實際是負樣本

TN:真的負樣本(預測),實際是負樣本

precision = TP/(TP+FP)

recall = TP/(TP+FN)

1/F = (1/2) * (1/precision+1/recall)

例子:視訊取樣判斷是否是一個小偷,召回率很高,同時準確率很低。(判斷為小偷的,基本都是小偷,但是正常人也被判別成了小偷)

ROC :真陽(召回率)為縱座標,假陽(FP/FP+TN),ROC正常應該在y=x之上。

AUC:ROC下的面積

具體選擇PR曲線還是ROC曲線,有一條經驗法則:

PR 、 ROC 都是通過不斷變化閾值來畫出來的。
PR曲線能夠衡量在特定資料集上的表現。(右上凸更好)

ROC曲線能夠在樣本不均衡的時候更客觀的衡量模型本身的效能。(左上凸更好)