Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learning
簡述：
現有的方法通常只學習了跨模態特徵，而忽略了影象層次的差異。生成影象的思路目前有些方法採用GAN生成交叉模態影象，但會破壞區域性結構並引入噪聲。本文通過生成的RGB影象的灰度圖作為輔助，以減少RGB與IR影象的large gap。

模型：

本文框架方面通過3個3通道（RGB，Gray，IR）的分別輸入到共享權重的Res50學習共有特徵，重點在loss上：
1.HHI loss：同質和異質分類損失

首先是個ID loss：

對RGB和灰度做smooth L1 loss:

HHI 總loss：

2.WTDR loss：
這個loss通過同一個身份中RGB和灰度的距離小於RGB和紅外這一點巧妙的對triplet loss進行了改進，其中i,j為同一ID，i,k為不同ID，所以，

帶權重後：



同時，再加入了正則化，使得同一類別的不同模態的距離減小：

實驗：
消融實驗：

對比試驗：

總結：
本文主要針對目前GAN的生成效果差的問題進行改進，同樣為了生成配準影象，把中心放在了怎麼處理這個生成影象的loss上，簡單的灰度化後，經過3個loss：HHI loss首先起到分類作用，再減少了RGB和生成的灰度圖的距離，HHI loss通過對triplet loss進行改進，將灰度圖作為橋樑，巧妙了進行了一個度量學習，最後通過reg loss進一步減少了同一身份不同模態的距離。