Cumulative Matching Characteristics (CMC) curves 是目前行人重識別領域最流行的效能評估方法。考慮一個簡單的 single-gallery-shot 情形，每個gallery identity只有一個instance. 對於每一次的query, 演算法將根據 query 到所有gallery samples的距離從小到大排序，CMC top-k accuracy 計算如下：

                                Acc_k = 1, if top-k ranked gallery samples contain query identity

                                Acc_k = 0, otherwise

儘管在 single-gallery-shot 情形下，CMC 有很明確的定義，但是在 multi-gallery-shot 情形下，它的定義並不明確，因為每個gallery identity 可能存在多個instances. 例如, CUHK-03 和 Market-1501 資料集計算 CMC curves 和 CMC top-k accuracy 的方法很不同：

CUHK03: 這個資料集中，query 和 gallery 集來自不同的攝像頭視角。對於每個query,  隨機地從每個 gallery identity 中取樣一個instance,  然後以 single-gallery-shot 的方式計算 CMC curve. 隨機取樣重複N次，最終輸出CMC curve.

Market-1501: Query 和 gallery 集可能來自相同的攝像頭視角，但是對於每個query identity, 他/她的來自同一個攝像頭的 gallery samples 會被排除掉。對於每個 gallery identity，他們不會只隨機取樣一個instance. 這意味著在計算CMC時， query 將總是匹配 gallery 中“最簡單”的正樣本，而不關注其他更難識別的正樣本。

由上面可以看出，在 multi-gallery-shot 情形下，CMC評估具有缺陷。因此，也使用 mAP（mean average precsion）作為評估指標。mAP可認為是PR曲線下的面積，即平均的查準率。

參考自open-reid文件：