人臉識別評價演算法指標
首先了解相關指標名稱
誤識率FAR false acceptance rate FAR=NFA/NIRA NIRA是類間測試次數,NFA是錯誤接收次數
誤拒綠FRR false rejection rate FRR=NFR/NGRA NGRA是類內測試次數,NFR是錯誤拒絕次數
ROC曲線 Receiver Operator characteristic Curve
真正類率TPR true positive rate 將正例分對為正類的概率,也稱Recall召回率 Recall = TPR = TP/(TP+FN)
假正類率FPR false positive rate 將負例錯分為正類的概率 FPR = FP/(FP+TN)
真負類率TNR true negative rate
假負類率FNR false negative rate
準確率ACC Accuracy = (TP+TN)/(P+N) = (TP+TN) / (TP + FN + FP + TN)
精確度 Precision = TP/(TP+FP)
F-Score就是 Precision和 Recall的加權調和平均:
F-Meature = 2(Precision*Recall)/(Precision + Recall)
舉個例子:
假定有110個人,每人的大拇指的8幅指紋圖片共110*8=880幅的指紋資料庫,即110類,每類8幅圖片。
當然,我們希望類內的任意兩幅圖片匹配成功,類間的任意圖片匹配失敗。
現在我們讓庫中的每一幅圖片除開它自身之外與其他的所有圖片進行匹配,分別計算誤識率,與拒識率。
理論情況下,來自同一個指紋的影象都成功匹配,次數為7*8*110=6160次,匹配的總次數,即880×(880-1)=773520次。
誤識率(FAR):假定由於指紋識別演算法效能的原因,把本應該匹配失敗的判為匹配成功,若假定這種錯誤次數為1000次。
匹配失敗次數應為773520-6160=767360次。則誤識率FAR為1000/767360*100%=0.13%。
拒識率(FRR):假定由於指紋識別演算法效能的原因,把本應該匹配成功的判為匹配失敗,若這種錯誤次數為160次。則拒識率為160/6160=2.6%.
ROC曲線(Receiver Operator characteristic Curve)是一種已經被廣泛接受的系統匹配演算法測試指標,它是匹配分數閾值、誤識率以及拒識率之間的一種關係。
它反映了識別演算法在不同閾值上,拒識率和誤識率的平衡關係。
下圖給出了ROC曲線,其中橫座標是拒識率,縱座標是誤識率,等錯誤率(EER Equal-Error Rate)是拒識率和誤識率的一個平衡點,等錯誤率能夠取到的值越低,表示演算法的效能越好。