Person Re-id:評價指標
評價指標:
1、rank-n: 搜尋結果中最靠前(置信度最高)的n張圖有正確結果的概率。
CMC曲線 :算一種top-k的擊中概率,主要用來評估閉集中rank的正確率。
例如: lable為m1,在100個樣本中搜索。
如果識別結果是m1、m2、m3、m4、m5……,則此時rank-1的正確率為100%;rank-2的正確率也為100%;rank-5的正確率也為100%;如果識別結果是m2、m1、m3、m4、m5……,則此時rank-1的正確率為0%;rank-2的正確率為100%;rank-5的正確率也為100%;如果識別結果是m2、m3、m4、m5、m1……,則此時rank-1的正確率為0%;rank-2的正確率為0%;rank-5的正確率為100%
當待識別的人臉集合有很多時,則採取取平均值的做法。
2、Recall:召回率 output為1中ground truth也為1的 佔output為1的概率
Precision:準確率 output為1中ground truth也為1的 佔ground truth為1的概率
F-score:recall和precision的調和平均數 2 * P * R / (P + R)
PR曲線: 所有樣本的precision和recall繪製在圖裡
3、mAP : PR曲線下的面積
例如:query-id = 1,query-cam = 1,gallery共有5張圖,按照下圖方式計算出recall和precision,以recall為橫座標,precision為縱座標,繪製PR曲線,曲線下方面積即為AP,當需要檢索的不止一個人時,此時取所有人的平均mAP。
曲線下方面積計算方法有多種,例如 ap = ap + (recall - old_recall)*((old_precision+precision)/2);
AP衡量的是學出來的模型在單個類別上的好壞,mAP衡量的是學出的模型在所有類別上的好壞
4、CMC
CMC曲線就是算一種top-k的擊中概率。
對於single gallery shot來說,每一次query,對samples排序,找到匹配上id的gallery後,排除掉同一個camera下同一個id的sample,
5、ROC:
曲線上的每一點反映的是不同的閾值對應的FP(false positive)和TP(true positive)之間的關係。通常情況下,ROC曲線越靠近(0,1)座標表示效能越好。
TP : True Positive 預測為1,實際也為1;TN:True Nagetive 預測為0,實際也為0
FP:False Positive 預測為1,實際為0的;FN:False Nagetive 預測為0,實際為1的
TPR=TP/(TP+FN)=Recall。
FPR=FP/(FP+TN),FPR即為實際為好人的人中,預測為壞人的人佔比。
以FPR為x軸,TPR為y軸畫圖,就得到了ROC曲線。