Siamese network 與 影象特徵描述符 目錄

• 介紹
• 資料集及模型結構
• Last

介紹

該文提出一種基於深度學習的特徵描述方法，並且對尺度變化、影象旋轉、透射變換、非剛性變形、光照變化等具有很好的魯棒性。該演算法的整體思想並不複雜，使用孿生網路從圖塊中提取特徵資訊（得到一個128維的特徵向量），並且使用L2距離來描述特徵之間的差異，目標是讓匹配圖塊特徵之間的距離縮短，讓不匹配圖塊特徵之間的距離增大。

資料集及模型結構

1. 資料集

   論文使用的是一個叫做MVS的建築物資料集，包含了1.5M張\(64 \times 64\)張的灰度圖來自500K個3D points。

2. 網路的結構:

3.損失函式：

\[l\left(\mathbf{x}_{1}, \mathbf{x}_{2}\right)=\left\{\begin{array}{cc} \left\|D\left(\mathbf{x}_{1}\right)-D\left(\mathbf{x}_{2}\right)\right\|_{2}, & p_{1}=p_{2} \\ \max \left(0, C-\left\|D\left(\mathbf{x}_{1}\right)-D\left(\mathbf{x}_{2}\right)\right\|_{2}\right), & p_{1} \neq p_{2} \end{array}\right. \]

解釋一下，C是一個最小距離閾值；兩個影象塊$ x_1, x_2$,如果它們來自同一個3D point \(pi\)

,則使用（1）的上半部分計算損失函式，否則使用下半部分計算損失函式。

4. Mining

論文作者提出了一個訓練模型的創新方法：

隨著訓練的進行，隨機選擇的負向樣本之間的距離很容易就超過閾值C，使得損失變成0，無法有效的對網路進行訓練了。也就是說，隨機選擇的負向樣本太簡單了，他們本身之間的距離就很大，無法有效的訓練網路。因此作者希望能夠從資料集中尋找到“困難”的樣本，什麼才算是困難樣本呢，對於負向樣本而言，就是他們之間的距離很小，非常相似，但卻不屬於一個3D點；對於正向樣本而言，就是他們屬於同一個3D點，但特徵之間的距離卻很大。這樣的樣本對模型訓練有很好的促進作用。為了實現這個目標，作者先隨機取樣了一個包含\(s_n\)

個點的負樣本集，然後經過一次正向的運算（網路正向傳播）並計算損失，然後僅保留其中\(s_n^H\)個點構成的困難樣本子集，並將這部分的損失反向傳播回去，對網路引數進行訓練。對於正向樣本也採用同樣的策略，來挖掘困難樣本。

結果：

Last

		這個PR curves應該與是某個指標有關，以後遇到了再查閱。