行人重識別簡介(Person ReID)
阿新 • • 發佈:2019-01-01
一、簡介
-
行人重識別,也被稱為 ReID(Person Re-identification),是希望能夠利用計算機視覺的演算法來進行
跨攝像頭的追蹤,也就是找到不同攝像頭下的同一個人
,這也是影象檢索的一個子問題 -
多個攝像頭下拍攝行人的
角度不同
,影象中的行人可能72變。所以要正確判斷的話,就要找到行人上的區域性不變的part(比如:衣服顏色,衣服紋理,手提包,揹包等等)
下圖為 DukeMTMC-reID 資料集的retrieval demo
- 左邊的 query 就是要查詢的某個人,右邊的 gallery 就是所有的人,我們需要從 gallery 裡面找到 query 的人
- 綠色的框表示同一個人,紅色的框表示不同的人
-
能不能用人臉識別來做重識別?
- 因為攝像頭的距離比較遠,所以人的影象都比較
模糊
,沒有辦法通過人臉來定位 - 廣泛存在
後腦勺和側臉
的情況,做正臉的人臉識別難
- 因為攝像頭的距離比較遠,所以人的影象都比較
-
有些人靠衣服的顏色就可以判斷出來了,還需要行人重識別麼?
- 首先,衣服顏色確實是行人重識別做出判斷一個重要因素,但光靠顏色是不足的。
- 其次,攝像頭之間是有
色差
,並且會有光照的影響
。 - 最後,有
撞衫
(顏色相似)的人怎麼辦,要找細節,但比如顏色直方圖這種統計的特徵就把細節給忽略了。
二、評價指標
-
ReID 模型的好壞,目前有兩個比較常用的指標,一個是 Top1,一個是 mAP
- Top1 表示首位命中的概率,我們會將 query 和 gallery 依次算一個距離(提取特徵後計算)然後根據距離排序,判斷一下 gallery 首位的圖有沒有命中 query,Top5 表示 1 - 5張圖片面至少有一張命中。
- mAP 表示平均精度均值,我們可以用下面這張圖片來形象的說明 mAP 是如何計算的?
-
餘弦距離(越小越相似,)
三、測試方法
- 用 ReID model 做預測就非常簡單,就
去掉最後的全連線層
,然後用網路提取 feature
,最後算 query 和gallery 所有圖片 feature
之間的距離,根據距離去算 Top1 和 mAP 就可以得到最後的效果