Richer Convolutional Features for Edge Detection
CVPR2017
Caffe：https://github.com/yun-liu/rcf

本文針對邊緣檢測問題，基於 VGG16 網路設計了一個 richer convolutional features (RCF) 用於邊緣檢測，效果目前是很好的。

首先來看看 VGG16不同卷積層的特徵輸出

3 Richer Convolutional Features (RCF)
3.1. Network Architecture
網路結構思路很簡單啊

我們將卷積分為5個stage，相鄰兩個stage 通過池化層來降取樣，得到不同尺度特徵，rich hierarchical information 對邊緣檢測很有幫助。
隨著 receptive field 尺寸的增加，每個卷積層學習到的有用資訊將變得 coarser

標準VGG16中的感受野和步長

我們對VGG16的改動如下：
1）去除所有的全連線層和第五池化層。去除全連線層主要是為了得到全卷積網路，第五池化層對降取樣特徵圖，不利於邊緣定位。
2）對VGG16中的每個卷積層使用一個 kernel size 1 × 1 and channel depth 21 卷積層， 每個stage中所有的1 × 1 × 21卷積輸出進行元素相加操作（ eltwise layer），得到一個複合特徵
3）每個 eltwise layer 後面加一個deconv layer 用於放大特徵圖尺寸的（up-sampling layer）
4）在每個 up-sampling layer 後面使用一個 cross-entropy loss / sigmoid layer
5）所有的 up-sampling layers 輸出進行concatenated，隨後使用一個 1×1 conv layer 進行特徵圖融合，最後使用 一個 cross-entropy loss / sigmoid layer 得到輸出

下面看看每個 stage 的輸出結果

3.2. Annotator-robust Loss Function
在設計損失函式時，我們對於有爭議的邊緣點不計入損失函式的計算中，例如有10個人標記，只有1-3個人同時標記某個畫素為邊緣點。那麼該畫素點就屬於有爭議的邊緣點。

每個畫素的損失函式定義如下

3.3. Multiscale Hierarchical Edge Detection
對尺度影象輸入

we use three scales 0.5, 1.0, and 1.5 in this paper
對於 BSDS500 資料庫， 精度提升： ODS F-measure from 0.806 to 0.811，速度從 30 FPS 降到 8 FPS

3.4. Comparison With HED 和 HED 的比較
下面開始 馬三點： 關於這個問題我要說三點
1）HED 只考慮 VGG16 每個 stage 中的最後一個卷積層， 這樣很多有用的資訊就丟失了。 而 RCF 使用了所有的卷積層資訊
2） 我們設計了新的損失函式，不考慮有爭議的邊緣點計算
3） 多尺度提升效能 multiscale hierarchy to enhance edges 2.3% improvement in ODS F-measure over HED

BSDS500 資料庫上對比

NYUD dataset

Multicue dataset

圖示結果：

最後有一點很有意思： non-linearity 沒有幫助，甚至導致網路不收斂
In order to investigate whether including additional non-linearity helps, we connecting ReLU layer after 1 × 1 − 21 or 1 × 1 − 1 conv layers in each stage. However, the network performs worse. Especially, when we attempt to add nonlinear layers to 1 × 1 − 1 conv layers, the network can not converge properly.