1. 程式人生 > >人臉識別常用的效能評價指標

人臉識別常用的效能評價指標

參考連結:

1、https://blog.csdn.net/blueblood7/article/details/41823593

2、https://blog.csdn.net/lijiao1181491631/article/details/54407830?utm_source=blogxgwz0

3、https://blog.csdn.net/u014696921/article/details/74435229


1、混淆矩陣

預測 預測
實際 TP FN
實際 FP TN
  • TP:true positive,實際為正的,預測成正的個數
  • FN:false negative,實際為正的,預測成負的個數
  • FP:false positive,實際為負的,預測成正的個數
  • TN:true negative,實際為負的,預測成負的個數

2、TPR/FPR/TNR/FNR

即上面提到的TP/FN/FP/TN的比率

  • TPR:true positive rate,真正率,敏感性sensitivity,實際為正的,預測成正的比率
    T

    P R = T P T P
    + F N
    TPR= \frac{TP}{TP+FN}

  • FNR:false negative rate,假負率,實際為正的,預測成負的比率
    F N R = F N T P + F N FNR= \frac{FN}{TP+FN}

  • FPR:false positive rate,假正率,實際為負的,預測成正的比率
    F P R = F P F P + T N FPR= \frac{FP}{FP+TN}

  • TNR:true negative rate,真負率,特異性specificity,實際為負的,預測成負的比率數
    T N R = T N F P + T N TNR= \frac{TN}{FP+TN}

3、ROC/AUC

ROC曲線:受試者工作特徵曲線:receiver operating characteritic curve,又稱為感受性曲線(sensitivity curve),表示敏感性和特異性之間的相互關係。

橫座標為FPR,縱座標為TPR,如下圖所示,ROC曲線上的每一個點對應一個threshold,

在這裡插入圖片描述

其中,有三種極限狀態:

  • TPR=0,FPR=0,這時threshold最大,將每個例項都預測為負類;
  • TPR=1,FPR=1,這時threshold最小,將每個例項都預測為正類;
  • TRP=1,FPR=0,理想模型,所有例項都預測準確。

一個好的分類模型,其曲線應該儘可能靠近上圖的左上角。如果是隨機猜測模型,則位於圖中的主對角線上。

AUC:ROC曲線下方的面積,area under the ROC curve。另一種評價模型效能的方式,如果模型是完美的,則AUC=1,如果模型是隨機猜測模型,則AUC=0.5,模型效能越好,則面積越大。

4、FAR/FRR/EER

人臉識別一般分為Indentification和Verification(人臉驗證),當進行人臉驗證時,一般考慮以下兩個指標:

  1. 誤識率(False Accept Rate,,FAR):將其他人誤作指定人員的概率
  2. 拒識率(False Reject Rate,FRR):將指定人員誤作其它人員的概率。
  3. 等錯誤率 (EER-Equal Error Rate) :取一組0到1之間的等差數列,分別作為識別模型的判別界限,既座標x軸,畫出FFR和FAR的座標圖,交點就是EER值。

F A R = N o n t a r g e t I s T a r g e t ( T a r g e t I s T a r g e t + N o n t a r g e t I s T a r g e t ) FAR = \frac{NontargetIsTarget } {( TargetIsTarget + NontargetIsTarget ) }

F R R = T a r g e t I s N o n t a r g e t ( T a r g e t I s N o n t a r g e t + N o n t a r g e t I s N o n t a r g e t ) FRR = \frac{TargetIsNontarget} {( TargetIsNontarget + NontargetIsNontarget ) }

一般,FAR=0.001時,FRR的值作為參考。值越小,效能越好。

計算機在判別時採用的閾值不同,這兩個指標也不同。一般情況下,誤識率FAR 隨閾值的減小(放寬條件)而增大,拒識率FRR
隨閾值的減小而減小。因此,可以採用等錯誤率(Equal Error Rate,
ERR)作為效能指標,即通過調節閾值,使這FAR和FRR兩個指標相等時的FAR 或 FRR。

另一種關於FAR、FRR的解釋如下:

在這裡插入圖片描述

5、FMR、FNMR

FMR:False match rate
FNMR:False non-match rate

F A R = F M R ( 1 F T A ) FAR = FMR * (1 – FTA)
F R R = F T A + F N M R ( 1 F T A ) FRR = FTA + FNMR * (1 – FTA)
錯誤採集率 failure-to-acquire rate FTA: 在辨識或驗證的嘗試中,採集不到樣本或樣本質量無法達到要求的比例。

6、GFAR、GFRR

GFAR :廣義誤接受率,Generalized false accept rate

GFRR :廣義誤拒絕率,Generalized false reject rate

廣義上的錯誤拒絕發生在:

  • 測試物件沒有註冊
  • 不能提取提交的樣本
  • 存在錯誤匹配

廣義上的錯誤接受和錯誤拒絕率將由下述公式給出:

G F A R = F M R ( 1 F T A ) ( 1 F T E ) 2 GFAR = FMR * (1 – FTA) * (1 – FTE)^2
G F R R = F T E + ( 1 F T E ) F T A + ( 1 F T E ) ( 1 F T A ) F N M R GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR

FTE:註冊失敗率 failure-to-enroll rate