針對anchor-point檢測演算法的優化問題，論文提出了SAPD方法，對不同位置的anchor point使用不同的損失權重，並且對不同的特徵金字塔層進行加權共同訓練，去除了大部分人為制定的規則，更加遵循網路本身的權值進行訓練
 
來源：曉飛的演算法工程筆記 公眾號

論文: Soft Anchor-Point Object Detection

• 論文地址：https://arxiv.org/abs/1911.12448
• 論文程式碼：https://github.com/xuannianz/SAPD not official

Introduction

  Anchor-free檢測方法分為anchor-point類別和key-point類別兩種，相對於key-point類別，anchor-point類別有以下有點：1) 更簡單的網路結構 2) 更快的訓練和推理速度 3) 更好地利用特徵金字塔 4) 更靈活的特徵金字塔選擇，但anchor-point類別的準確率一般比key-point類別要低，所以論文著力於研究阻礙anchor-point類別準確率的因素，提出了SAPD(Soft Anchor-Point Detecto)，主要有以下兩個亮點：

• Soft-weighted anchor points。anchor-point演算法在訓練時一般將滿足幾何關係的點設定為正樣本點，其損失值權重均為1，這造成定位較不準確的點偶爾分類置信度更高。實際上，不同位置的點的迴歸難度是不一樣的，越靠近目標邊緣的點的損失值權重應該越低，讓網路集中於優質anchor point的學習。
• Soft-selectedpyramid levels。anchor-point演算法每輪訓練會選擇特徵金字塔的其中一層特徵進行訓練，其它層均忽略，這在一定程度上造成了浪費。因為其他層雖然響應不如被選擇的層強，但其特徵分佈應該與被選擇層是類似的，所以可以賦予多層不同權重同時訓練。

Detection Formulation with Anchor Points

  論文首先介紹了大致的anchor point目標檢測方法的網路結構以及訓練方法。

Network architecture

  網路包含主幹網路以及特徵金字塔，特徵金字塔每層包含一個detection head，特徵金字塔層標記為$P_l$，$l$為層數，層的特徵圖大小為輸入$W\times H$的$1/s_l$倍，$s_l=2^l$為stride。一般，$l$的範圍為3到7，detection head包含分類子網和迴歸子網，子網均以5個$3\times 3$卷積層開頭，然後每個位置分別預測$K$個分類置信度以及4個偏移值，偏移值分別為當前位置到目標邊界的距離。

Supervision targets

  對於目標$B=(c, x, y, w, h)$，中心區域為$B_v=(c, x, y, \epsilon w, \epsilon h)$，$\epsilon$為縮放因子。當目標$B$被賦予金字塔層$P_l$且anchor point $p_{lij}$位於$B_v$內時，則認為$p_{lij}$是正樣本點，分類目標為$c$，迴歸目標為歸一化的距離$d=(d^l, d^t, d^r, d^b)$，分別為當前位置到目標四個邊界的距離：

  $z$為歸一化因子。對於負樣本點，分類目標為背景($c=0$)，定位目標為null，不需要學習。

Loss functions

  網路輸出每個點$p_{lij}$的$K$維分類輸出$\hat{c}{lij}$以及4維位置迴歸輸出$\hat{d}{lij}$，分別使用focal loss和IoU loss進行學習：

  網路整體損失為正負樣本點之和除以正樣本點數：

Soft Anchor-Point Detector

  SAPD的核心如圖3所示，分別為Soft-Weighted Anchor Points以及Soft-Selected Pyramid Levels，用於調整anchor point權重以及使用特徵金字塔的多層進行訓練。

Soft-Weighted Anchor Points

• False attention

  基於傳統的訓練策略，論文觀察到部分anchor point輸出的定位準確率較差，但是其分類置信度很高，如圖4a所示，這會造成NMS過後沒有保留定位最準確的預測結果。可能的原因在於，訓練策略平等地對待中心區域$B_v$內的anchor point。實際上，離目標邊界越近的點，越難迴歸準確的目標位置，所以應該根據位置對不同的anchor point進行損失值的加權，讓網路集中於優質的anchor point的學習，而不是勉強網路將那些較難迴歸的點也學習好。

• Our solution

  為了解決上面提到的問題，論文提出soft-weighting的概念，為每個anchor point的損失值$L_{lij}$增加一個權重$w_{lij}$，權重由點位置和目標的邊界決定，負樣本點不參與位置迴歸的計算，所以直接設為1，完整的權值計算為：

  $f$為反映點$p_{lij}$與目標$B$邊界遠近的函式，論文設定$f$為centerness函式$f(p_{lij}, B)=[\frac{min(d^l_{lij}, d^{r_{lij})min(d}t_{lij}, d^{b_{lij})}{max(d}l_{lij}, d^{r_{lij})max(d}t_{lij}, d^b_{lij})}]{\eta}$

  $\eta$為降低的幅度，具體的效果可以看圖3，經過Soft-Weighted後，anchor point的權值變成了山峰狀。

Soft-Selected Pyramid Levels

• Feature selection

  anchor-free方法在每輪一般都會選擇特徵金字塔的其中一層進行訓練，選擇不同的層的效果完全不同。而論文通過視覺化發現，不同層的啟用區域實際上是類似的，如圖5所示，這意味著不同層的特徵可以協作預測。基於上面的發現，論文認為選擇合適的金字塔層有兩條準則：

• 選擇需基於特徵值，而非人工制定的規則。

• 允許使用多層特徵對每個目標進行訓練，每層需對預測結果有顯著的貢獻。

• Our solution

  為了滿足上面兩條準則，論文提出使用特徵選擇網路來預測每層對於目標的權重，整體流程如圖6所示，使用RoIAlign提取每層對應區域的特徵，合併後輸入到特徵選擇網路，然後輸出權重向量。效果可看圖3，金字塔每層的權值的山峰形狀相似，但高度不同。需要注意，特徵選擇網路僅在訓練階段使用。

  特徵選擇網路的結構十分簡單，如表1，與檢測器一起訓練，GT為one-hot向量，數值根據FSAF的最小損失值方法指定，具體可以看看之前發的關於FSAF文章。至此，目標$B$通過權重$w^B_l$與金字塔的每層進行了關聯，結合前面的soft-weighting，anchor point的權值為：

  完整的模型的損失為加權的anchor point損失加上特徵選擇網路的損失：

Experiment

  各模組的對比實驗。

  與SOTA演算法進行對比。

Conclusion

  針對anchor-point檢測演算法的優化問題，論文提出了SAPD方法，對不同位置的anchor point使用不同的損失權重，並且對不同的特徵金字塔層進行加權共同訓練，去除了大部分人為制定的規則，更加遵循網路本身的權值進行訓練。

如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公眾號【曉飛的演算法工程筆記】