Deep Hash in Large Scale Image Retrieval
Deep Hash in Large Scale Image Retrieval
深度雜湊方法及其在移動視覺搜尋中的應用
這裡介紹兩篇深度hash文章
01 Simultaneous Feature Learning and Hash Coding with Deep Neural Networks CVPR2015
02 Deep Hashing Network for Efficient Similarity Retrieval∗（2016 AAAI DHN）
hash目標
深度雜湊將傳統的雜湊學習與量化過程整合成端到端的
1 DNNH
Simultaneous Feature Learning and Hash Coding with Deep Neural Networks
(2015 CVPR DNNH )
亮點：同時進行特徵提取和雜湊編碼
設計的divide-and-encode module
對應資料資訊保留目標2：保留資料資訊量：資訊冗餘
(1) 總量一定的情況下，資訊重複得越少越好
(2) 資訊冗餘體現在同樣的資訊被多個神經元攜帶
：兩兩不相關
那麼如何實現輸出為0和1且可導，其實並非嚴格的只輸出01，作者採用動態的階躍閾值實現在輸出在可導的情況下，儘量讓輸出結果還是達到為離散01值的效果。
2 DHN
Deep Hashing Network for Efficient Similarity Retrieval∗（2016 AAAI DHN）
相對於DNNH 主要改進的地方
1 設計一個有理論依據的 pairwise 交叉熵 。
2 設計一個有理論依據的 量化損失函式。
從理論的角度：
作者提取了雙峰拉普拉斯分佈，作者先假設網路輸出的01值應該符合雙峰拉普拉斯分佈特徵，也就是輸出儘量為0和1且概率相等（這點是第一篇文章沒有保障的）；
然後才有極大後驗概率求解得到一個交叉熵函式
作者從正面證明自己的推倒：
作者結合ITQ這篇論文提出的量化誤差的度量方法對自己的目標損失進行論證。
這篇文章本人認為非常好，非常值得讀。
* 深度雜湊主要的研究的點*
深度模型學習影象表示
sigmoid/tanh函式限制輸出範圍
不同的損失函式
有針對性的網路結構