圖像檢索算法
圖像檢索：是從一堆圖片中找到與待匹配的圖像相似的圖片，就是以圖找圖。
看了兩篇文章：
Large-Scale Image Retrieval with Attentive Deep Local Features https://arxiv.org/pdf/1612.06321v4.pdf
Aggregated Deep Local Features for Remote SensingImage Retrieval https://arxiv.org/pdf/1903.09469.pdf
這兩片都是講了用使用註意力機制提取CNN局部特征描述子，進行圖像檢索的方法。第一篇是原創，第二篇是將其應用到遙感圖像檢索。
圖片檢索可以分為兩個問題： 第一圖像級別的描述子的建立，第二搜索匹配的描述子。這兩篇文章主要關註，第一個問題，第二個問題沒有深入。
論文一：
作者先是說了以往的研究都是在小尺度數據集上的得到的。作者的提出了一種基於CNN的特征描述子，用於大規模數據檢索。
這篇文章的特點就是：使用註意力機制幫助獲取特征點，用特征點相應位置卷積層的通道方向的特征，作為該特征點的描述子。
1、使用了一種弱監督學習方法，只有圖像級的標簽用於訓練；
2、加入了一個註意力模型，使用註意力機制，找到局部關鍵點，將該點的cnn通道方向的特征作為描述子
作者制作了個大型(large scale)數據集，然後建立檢索系統:1. 密集局部特征提取 2. 關鍵點選擇 3. 降維 4. 索引和檢索
1.密集局部特征提取
使用了Resnet50的預訓練模型，去掉頭，換上自己的頭，微調。把conv4的輸出作為特征，conv4裏每個像素在原圖像的視場的位置就是特征點的位置。
這一步比較常規，現在普遍認為卷積層就是起特征提取的feature extractor。
這樣卷積層是特征，從這麽多的位置裏選擇出代表性的特征。作者比較新的提出了以下的關鍵點選擇方法：
2. 基於註意力機制的關鍵點選擇
如果直接使用cnn層作為特征直接進行匹配的話，描述子的維度太高，檢索太慢。因此有必要，從特征圖裏選擇出來一些關鍵點。
在普通的匹配裏有一些：sift,surf，FAST，Brief等特征點和描述子。
CNN已經提取好特征了，我們需要在特征圖上選擇出一些。
這時候作者把訓練好的網絡參數固定，新建一個2層的卷積網絡，這個兩層的網絡的輸入就是conv4的輸出，輸出就是和conv4大小相同的1通道的權重圖，這個權重圖裏就是每個conv4特征的權重。
註意力就關註到這地方了。
這裏的訓練分兩步，不能同時訓練，先訓練1，訓練完了再訓練2中的註意力模型。
這個和普通的方法區別是：他是先計算特征描述子，再選擇特征點
特征點選擇多少個論文沒有說，好奇，只能看代碼了。
3.降維
因為沒有說，一副圖像選擇多少個特征點。
只是說把這些特征點對應的conv4的通道數構成的描述子，先L2歸一化，再用PCA降維到40維，降完之後再歸一化
4. 索引和檢索
基於最近鄰的搜索技術，kd-tree,PQ.
當然基於距離最小的方法全部招呼上來。
實驗部分：
這部分說了前面的疑問，每個圖像提取1000個關鍵點（根據註意力機制裏概率的大小），每個特征點40維。使用k最近鄰匹配 k=60。
怎麽匹配的呢，對1000個關鍵點，每個進行匹配，選擇前60個最匹配的，60個匹配結果裏統計類別分布，選擇最高的，就是這個關鍵點對應的圖像。
至於1000個關鍵點怎麽弄一個個弄？還是每個集成起來？
對比方法：
Deep Image Retrieval(DIR) 全局2048維的描述子，也就是說一副圖像一個描述子維度是2048維。使用QE 最近鄰.
QE 方法見：http://yongyuan.name/blog/cbir-query-expansion.html
算是最近鄰方法的一個小技巧。
siaMac 與上方法類似，也是一種全局描述子512維度，使用的是VGG處理過的。
LIFT 這個比較有意思的是用SIFT產生的特征點特征向量，監督CNN學習的的結果，然後取代 SIFT （眾所周知SIFT速度慢，不知道CNN學習後速度快了沒有，沒看原論文)
論文2：
這篇論文的選題好，關註遙感圖像。 遙感圖像有個好處就是拍攝的角度高，基本處於90%。遙感圖像自帶分辨率，尺度因素不用考慮（這些強的先驗知識，可以極大的減輕網絡負擔和匹配負擔）
所以改了改，用到遙感數據上效果就遙感圖像最優了（state-of-the-art)
這篇論文思路清晰，過程說的明白，就是網絡使用的是論文1的網絡，剛開始不明白，所以反過去看了論文1。
開篇就點題了：基於內容的圖像檢索主要包括兩個步驟：
圖像的描述特征提取，圖像匹配
明天繼續。。
覺得有用，拿出手機領個紅包，收你1毛1。
每天看一論文。
日有所勤，業有所精
圖像檢索算法