論文提出anchor-free和proposal-free的one-stage的目標檢測演算法FCOS，不再需要anchor相關的的超引數，在目前流行的逐畫素(per-pixel)預測方法上進行目標檢測，根據實驗結果來看，FCOS能夠與主流的檢測演算法相比較，達到SOTA，為後面的大熱的anchor-free方法提供了很好的參考
 
來源：【曉飛的演算法工程筆記】 公眾號

論文: FCOS: Fully Convolutional One-Stage Object Detection

• 論文地址：https://arxiv.org/abs/1904.01355

Introduction

---

  大多目標檢測網路都是anchor-based，雖然anchor能帶來很大的準確率提升，但也會帶來一些缺點：

• 準確率對anchor的尺寸、長寬比和數量較為敏感，這些超參都會人工細調
• anchor的尺寸和長寬是固定的，如果目標的相關屬性相差較大，會比較難預測
• 為了高召回，通常會使用密集的anchor佈滿輸入，大多為負樣本，導致訓練不平衡
• anchor需要如IOU的複雜計算

  近期，FCNs在各視覺任務中都有不錯的表現，但目標檢測由於anchor的存在，不能進行純逐畫素預測，於是論文拋棄anchor，提出逐畫素全卷積目標檢測網路FCOS網路，總結如下：

• 效仿前期的FCNs-based網路，如DenseBox，每個畫素迴歸一個4D向量指代預測框相對於當前畫素位置的偏移，如圖1左
• 為了預測不同尺寸的目標，DenseBox會縮放或剪裁生成影象金字塔進行預測，而且當目標重疊時，會出現畫素不知道負責預測哪個目標的問題，如圖1右。在對問題進行研究後，論文發現使用FPN能解決以上問題，後面會細講
• 由於預測的結果會產生許多低質量的預測結果，論文采用center-ness分支來預測當前畫素與對應目標中心點的偏離情況，用來去除低質量預測結果以及進行NMS

Our Approach

---

Fully Convolutional One-Stage Object Detector

  讓$F_i\in \mathbb{R}^{H\times W\times C}$為層$i$的特徵圖，$s$為層的總stride，輸入的GT為${B_i}$，$B_i=(x_0^{(i)},y_0{(i)},x_1^{(i)},y_1{(i)},c^{(i)})\in \mathbb{R}^4\times {1,2...C }$分別為box的左上角和右下角座標以及類別，$C$為類別數。特徵圖$F_i$的每個位置$(x,y)$，可以通過$(\lfloor\frac{s}{2}\rfloor + xs, \lfloor\frac{s}{2}\rfloor + ys)$映射回原圖，FCOS直接預測相對於當前畫素的box位置，而不是anchor的那樣將畫素作為中心再回歸

  當畫素$(x,y)$落在GT中則認為是正樣本，將類別$c^{*$設定為目標類別，否則設定為0。除了類別，還有4D向量$t}=(l^*,t,r^*,b*)$作為迴歸目標，分別為box的四條邊與畫素的距離。當畫素落在多個GT中時，直接選擇區域最小的作為迴歸目標。相對於anchor-based的IOU判斷，FCOS能生成更多的正樣本來訓練迴歸器

• Network Outputs

  網路最終輸出80D分類標籤向量$p$和4D box座標向量$t=(l,t,r,b)$，訓練$C$個二分類器而不是多分類器，在最後特徵後面分別接4個卷積層用於分類和定位分支，在定位分支使用$exp(x)$保證結果為正，整體輸出比anchor-based少9x倍

• Loss Function

  $L_{cls}$為focal loss，$L_{reg}$為UnitBox中的IOU loss，$N_{pos}$為正樣本數，$\lambda$為平衡權重，公式2計算特徵圖上的所有結果

• Inference

  對於輸入圖片，推理得到特徵圖$F_i$的分類分數$p_{x,y}$以及迴歸預測$t_{x,y}$，然後取$p_{x,y}>0.05$的作為正樣本，公共公式1得到預測框位置

Multi-level Prediction with FPN for FCOS

  下面講下FCOS如何使用FPN來解決之前提到的問題：

• 由於large stride，通常最後的特徵圖都會面臨較低的最大可能召回(best possible recall, BPR)問題。在anchor based detector中，可以通過降低IOU閾值來彌補，而實驗發現，FCN-based的FCOS本身就能在large stride情況下還有更好的BPR，加上FPN，BPR則會更高
• 目標框重疊會導致難解的歧義，例如不知道畫素對應哪個迴歸目標，論文使用多層預測來解決這個問題，甚至FCN-based效果比anchor-based要好

  如圖2，FPN使用${P_3,P_4,P_5,P_6,P_7 }$層特徵，其中$P_3$、$P_4$和$P_5$分別通過$C_3$、$C_4$和$C_5$的$1\times 1$卷積以及top-down connection生成，$P_6$和$P_7$則是分別通過$P_5$和$P_6$進行stride為2的$1\times1$卷積生成，各特徵的stride分別為8，16，32，64和128
  anchor-based方法對不同的層使用不同的大小，論文則直接限制每層的bbox迴歸範圍。首先計算$l^*$,$t$,$r^*$和$b$，如果滿足$max(l^*,t,r^8,b)>m_i$或$max(l^*,t,r^8,b)<m_{i-1}$，則設為負樣本，不需要進行bbox迴歸。$m$為層$i$的最大回歸距離，$m_2$,$m_3$,$m_4$,$m_5$,$m_6$和$m_7$分別為0，64，128，256，512和$\infty$。如果在這樣設定下，畫素仍存在歧義，則選擇區域最小的作為迴歸目標，從實驗來看，這樣設定的結果很好
  最後，不同層間共享head，不僅減少引數，還能提高準確率。而由於不同的層負責不同的尺寸，所以不應該使用相同的head，因此，論文將$exp(x)$改為$exp(s_ix)$，新增可訓練的標量$s_i$來自動調整不同層的指數基底

Center-ness for FCOS

  使用FPN後，FCOS與anchor-based detector仍然存在差距，主要來源於低質量的預測box，這些box的大多由距離目標中心點相當遠的畫素產生。因此，論文提出新的獨立分支來預測畫素的center-ness，用來評估畫素與目標中心點的距離

  center-ness的gt計算如公式3，取值$(0,1]$，使用二值交叉熵進行訓練。在測試時，最終的分數是將分類分數與center-ness進行加權，低質量的box分數會降低，最後可能通過NMS進行過濾

  center-ness的另一種形式是在訓練時僅用目標框的中心區域畫素作為正樣本，這會帶來額外的超引數，目前已經驗證效能會更好

Experiments

---

Ablation Study

• Multi-level Prediction with FPN

  best possible recall(BPR)定義為檢測器能夠迴歸的gt比例，如果gt被賦予某個預測結果，即為能夠迴歸。從表1看來，不用FPN的FCOS直接有95.55%，而anchor-based的經典實現只有86.82%，加上FPN後就提高到98.40%

  在原始FCOS中，正樣本中歧義目標的比例為23.16%，使用FPN後能夠降低到7.14%。這裡論文提到，同類別目標的歧義是沒關係的，因為不管預測為哪個目標，都是正確的，預測漏的目標可以由其它更靠近他的畫素來預測。所以，只考慮不同類別的歧義比例大概為17.84%，使用FPN後可降為3.75%。而在最終結果中，僅2.3%的框來自於歧義畫素，考慮不同類別的歧義，則僅有1.5%的，所以歧義不是FCN-based FCOS的問題

• With or Without Center-ness

  center-ness分支能夠將AP從33.5%升為37.1%，比直接從迴歸結果中計算的方式要好

• FCOS vs. Anchor-based Detectors

  相對於RetinaNet，之前FCOS使用了分組卷積(GN)和使用$P_5$來產生$P_6$和$P_7$，為了對比，去掉以上的改進進行實驗，發現準確率依舊比anchor-based要好

• Comparison with State-of-the-art Detectors

Extensions on Region Proposal Networks

---

  將anchor-based的RPNs with FPN替換成FCOS，能夠顯著提高$AR^{100}$和$AR{1k}$

Class-agnostic Precision-recall Curves

---

Visualization for Center-ness

---

CONCLUSION

---

  論文提出anchor-free和proposal-free的one-stage的目標檢測演算法FCOS，不再需要anchor相關的的超引數，在目前流行的逐畫素(per-pixel)預測方法上進行目標檢測，根據實驗結果來看，FCOS能夠與主流的檢測演算法相比較，達到SOTA，為後面的大熱的anchor-free方法提供了很好的參考

 
 
 

如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公眾號【曉飛的演算法工程筆記】

相關推薦