作者提出了一種有效的目標例項檢索方法----Fuzzy Objects Matching (FOM)。

   一般來說，例項檢索將query影象與資料集影象產生的眾多proposals進行一一匹配。但這種方法很明顯時間複雜度很高。而且同一張影象的proposals常常有重疊，所以可以通過減少這種冗餘計算來提高匹配準確率和效率。

    Fuzzy Objects 的編碼和匹配

1. 編碼

       對於資料集中的某一張影象 I，通過Edgeboxes方法得到n個proposals，記為pi (1<=i<=n)。

       將proposals調整為同樣大小，輸入到CNN網路。

       提取到某一層的feature map。實驗中用的是VGG-16網路，提取conv5_3層的feature map。

       假設feature map的維度是W*H*d，對每個卷積核產生的W*H大小進行pooling或者聚合。（類似R-MAC）。

       pooling或聚合的方法共有四種：maxpooling、sumpooling、bilinearpooling、VLAD。

       至此，每個proposal可以得到區域性卷積特徵Pi，維度為d*1。來自於同一張影象的n個proposals得到的所有特徵記為P，維度為d*n。

       記待查詢影象的特徵為q。

    s是一個1*n的矩陣，其中每一個數可以看做是query object分別和每一個proposal的相似性得分。

        （所以以上過程可以看做是窮舉式的object proposals匹配方法）

       為了更高效地獲得與proposals的相似性，在本文中，作者將屬於同張影象的n個proposals的特徵通過k-mediods聚類於 t 個聚類中心。

       由公式可以看出，首先將屬於某個聚類中心的所有proposals的特徵進行加和，然後取平均，形成這個聚類中心的特徵。對該特徵進行L2-normalization，就可以得到fuzzy object 的特徵表示：o。

       一個聚類中心產生一個fuzzy object，將所有fuzzy object的特徵集合記為O，維度是d*t。

       為何要聚類？論文給出了聚類的效果，可以將比較相似的proposals歸為一種：

       通過之前求得的proposals特徵集合P，求一個矩陣H，使其滿足以下公式：

      proposal的特徵  =  幾個fuzzy object的特徵 * 稀疏的線性碼。

左邊的proposals特徵矩陣P：每一列代表了一個proposal的特徵

          右邊的fuzzy objects特徵矩陣O：每一列代表了一個fuzzy object的特徵

                     矩陣H中第i列代表了第i個proposal與所有fuzzyobject的線性關係。

      用圖的形式可以表示為：

    2. 匹配

       引入fuzzy object概念之後，待查詢object和proposal之間的相似性計算可以改寫為：

      query object和proposal的相似性得分  =  query object和fuzzy objects的相似性得分 * 相應稀疏的線性碼。

     從而，計算query object和某個proposal的相似性得分，只需計算和所有fuzzy object的相似性得分，再根據鄰近關係確定query object和這個proposal的相似性得分。比如在論文中，proposal的數量是300，而fuzzy object的數量是20，計算相似性的點積計算量可以明顯減少。

      待查詢object與影象 I 的相似性得分為：屬於該影象的n個proposals中，與待查詢object相似性得分最高的：

      資料集中的所有影象根據得分R進行排序（論文中貌似沒有提及這個排序的作用）。

   Fuzzy Objects Refinement

  1. intra-image fuzzy object

        即以上過程產生的fuzzy object。其融合的是屬於同一張影象的proposals。

    2. inter-image fuzzy object

為了讓fuzzy object加入區域性約束，進一步提高檢索準確率，將每一個fuzzy object：o作為偽查詢，檢索資料集中和它最相似的m個fuzzy object，接著進行加和取平均，表示為新的fuzzy object：

       該法比average query expansion(AQE)好的地方在於，不需要query參與計算，是一個線下計算過程，不會消耗多餘的檢索時間。而且還可以與query共同作用。

        注意與o最相似的m個fuzzy object可以來自資料集中不同的影象。

        此時，query和proposals的相似性計算公式為：

       其中只調整了o，H與之前保持一致。

    實驗
    proposals的大小調整為448*448輸入到VGG-16網路
    提取conv5_3特徵，feature map大小為28*28*512

    比較四種pooling方式：maxpooling、sumpooling、bilinearpooling、VLAD。
    其中VLAD的聚類中心數目為64。四種聚合的特徵經過PCA、白化、L2-normalization固定為512維。


    1. 與Exhaustive Object Proposals Matching(EOPM)的比較

        對於Fuzzy Objects Matching(FOM)方法，提出300個proposals再進行不同數量的fuzzy objects比較。

        由實驗結果可以看出，FOM方法在mAP上優於EFOM方法。

                                                FOM方法的mAP隨著fuzzy objects數量的增加而增加。

    2. 與其他加快匹配速度方法的比較

        主要與Representative Object Matching(ROM)和Sparse Coding Matching (SCM)兩種方法進行了比較。

        其中橫軸Complexity Ratio代表計算複雜度。每個方法的定義稍有不同，詳見paper。

        實驗結果說明，在相同的計算複雜度情況下，FOM的mAP優於其它方法。其原因是FOM的方法有其它方法不具有的區域性約束性質。

    3. Intra-imagefuzzy objects和Inter-imagefuzzy objects 方法比較

       實驗設定：每張影象提取300個proposals；聚類為20個fuzzy objects；neighborhood的數量m取20。 

       由實驗結果可以看出，Inter-image fuzzy objects的方法在兩個資料集上、四種聚合方法中表現的都優於Intra-image fuzzy objects方法。

    4. 查詢擴充套件 - Average Query Expansion(AQE)

       將查詢影象和與其最相似的s個fuzzy objects的特徵進行取平均，作為新的查詢。

       和預想中的一致，AQE可以在一定程度上提高mAP。

    5. 與其它方法的對比

        由實驗結果可以看出，本文提出的FOM方法在mAP方面優於其它方法。