人臉識別常用的效能評價指標
參考連結:
1、https://blog.csdn.net/blueblood7/article/details/41823593
2、https://blog.csdn.net/lijiao1181491631/article/details/54407830?utm_source=blogxgwz0
3、https://blog.csdn.net/u014696921/article/details/74435229
1、混淆矩陣
預測 | 預測 | ||
---|---|---|---|
正 | 負 | ||
實際 | 正 | TP | FN |
實際 | 負 | FP | TN |
- TP:true positive,實際為正的,預測成正的個數
- FN:false negative,實際為正的,預測成負的個數
- FP:false positive,實際為負的,預測成正的個數
- TN:true negative,實際為負的,預測成負的個數
2、TPR/FPR/TNR/FNR
即上面提到的TP/FN/FP/TN的比率
-
TPR:true positive rate,真正率,敏感性sensitivity,實際為正的,預測成正的比率
-
FNR:false negative rate,假負率,實際為正的,預測成負的比率
-
FPR:false positive rate,假正率,實際為負的,預測成正的比率
-
TNR:true negative rate,真負率,特異性specificity,實際為負的,預測成負的比率數
3、ROC/AUC
ROC曲線:受試者工作特徵曲線:receiver operating characteritic curve,又稱為感受性曲線(sensitivity curve),表示敏感性和特異性之間的相互關係。
橫座標為FPR,縱座標為TPR,如下圖所示,ROC曲線上的每一個點對應一個threshold,
其中,有三種極限狀態:
- TPR=0,FPR=0,這時threshold最大,將每個例項都預測為負類;
- TPR=1,FPR=1,這時threshold最小,將每個例項都預測為正類;
- TRP=1,FPR=0,理想模型,所有例項都預測準確。
一個好的分類模型,其曲線應該儘可能靠近上圖的左上角。如果是隨機猜測模型,則位於圖中的主對角線上。
AUC:ROC曲線下方的面積,area under the ROC curve。另一種評價模型效能的方式,如果模型是完美的,則AUC=1,如果模型是隨機猜測模型,則AUC=0.5,模型效能越好,則面積越大。
4、FAR/FRR/EER
人臉識別一般分為Indentification和Verification(人臉驗證),當進行人臉驗證時,一般考慮以下兩個指標:
- 誤識率(False Accept Rate,,FAR):將其他人誤作指定人員的概率
- 拒識率(False Reject Rate,FRR):將指定人員誤作其它人員的概率。
- 等錯誤率 (EER-Equal Error Rate) :取一組0到1之間的等差數列,分別作為識別模型的判別界限,既座標x軸,畫出FFR和FAR的座標圖,交點就是EER值。
一般,FAR=0.001時,FRR的值作為參考。值越小,效能越好。
計算機在判別時採用的閾值不同,這兩個指標也不同。一般情況下,誤識率FAR 隨閾值的減小(放寬條件)而增大,拒識率FRR
隨閾值的減小而減小。因此,可以採用等錯誤率(Equal Error Rate,
ERR)作為效能指標,即通過調節閾值,使這FAR和FRR兩個指標相等時的FAR 或 FRR。
另一種關於FAR、FRR的解釋如下:
5、FMR、FNMR
FMR:False match rate
FNMR:False non-match rate
錯誤採集率 failure-to-acquire rate FTA: 在辨識或驗證的嘗試中,採集不到樣本或樣本質量無法達到要求的比例。
6、GFAR、GFRR
GFAR :廣義誤接受率,Generalized false accept rate
GFRR :廣義誤拒絕率,Generalized false reject rate
廣義上的錯誤拒絕發生在:
- 測試物件沒有註冊
- 不能提取提交的樣本
- 存在錯誤匹配
廣義上的錯誤接受和錯誤拒絕率將由下述公式給出:
FTE:註冊失敗率 failure-to-enroll rate