1. 程式人生 > 實用技巧 >Hetero-Center Loss for Cross-Modality Person Re-Identification閱讀筆記

Hetero-Center Loss for Cross-Modality Person Re-Identification閱讀筆記

論文題目:Hetero-Center Loss for Cross-Modality Person Re-Identification
來源:Neurocomputing
動機:對於跨模態reid,大多數的研究都是關注於提高類間的特徵差異去解決問題(也就是提高不同ID行人圖片之間的差異型),而很少關注於跨模態問題中類內的相似性(跨模態同ID圖片之間的相似性)。因此,本文作者著力於減少cross-modality問題中類內部的變化。
解決方法:1、Hetero-Center loss(HC loss)通過約束兩種不同模態之間的類內中心距離來監督網路學習跨模態的不變資訊。2、提出了一種高效能的網路結構Two-Stream Local Feature Network(TSLFM),第一次嘗試學習跨模態的區域性特徵。

方法實現:

  • Hetero-Center Loss(HC loss)
    跨模態的reid作為一種驗證問題,通過計算從網路提取到的特徵之間的相似性來匹配兩個模態的pedestrian images。因此網路訓練的目的就是擴大類間差異,提高類內跨膜相似性,也就是讓特徵儘可能的包含modality-shared information,以彌補兩個模態之間的差異。交叉熵損失可以提取特定模態的特有特徵進行ID分類,比如對RGB模態提取衣服的顏色資訊。但是不同模態的顏色資訊又不同,容易改變,而且提取顏色資訊作為區分特徵又和提高跨模態類內相似性的目的相悖,因此,和大多數傳統的損失函式一樣,交叉熵損失並不能滿足提高跨模態類內相似性的要求。而這也就是本文HC loss所要達到的目的。

    在這裡插入圖片描述
    上圖中,不同的顏色代表不同的ID,三角形圓形分別代表從兩個模態提取到的特徵資訊,紅色形狀代表各自的特徵中心。HC loss的目標就是減少同一ID特徵中心之間的距離。公式如下:
    在這裡插入圖片描述
    其中C代表中心距離,U代表ID數。加上HC loss的實驗效果如下:
    在這裡插入圖片描述

  • Two-Stream Local Feature Network
    借鑑了單模態reid中切分區域性特徵的方法,對兩個模態都進行了區域性特徵的提取。
    在這裡插入圖片描述
    實驗結果:
    在這裡插入圖片描述
    這篇論文中的HC loss函式考慮到跨模態類內相似性,縮小不同模態相同ID行人圖片的特徵差異,以達到更好的聚類效果。同時其網路模型借鑑單模態reid的區域性特徵方法,對每個模態進行區域性特徵的提取從而細化行人特徵。以上便是這篇論文的兩個主要工作。