【684】關於encoder-decoder網路 - 特徵融合
在很多工作中，融合不同尺度的特徵是提高分割效能的一個重要手段。低層特徵解析度更高（low-level information），包含更多位置、細節資訊，但是由於經過的卷積更少，其語義性更低，噪聲更多（說明：原始影象屬於低層特徵，可以看清具體的紋理資訊，但是沒有分類資訊，干擾資訊更多）。高層特徵具有更強的語義資訊（high-level information），但是解析度很低，對細節的感知能力較差（說明：經過更多的卷積，可以有效歸納出語義資訊，就是類似某個區域就是什麼東西，並不需要顯示具體的紋理資訊）。如何將兩者高效融合，取其長處，棄之糟泊，是改善分割模型的關鍵（這就是U-Net等模型的實現原理）。
而增加了skip connection結構的U-Net，能夠使得網路在每一級的上取樣過程中，將編碼器對應位置的特徵圖在通道上進行融合。通過底層特徵與高層特徵的融合，網路能夠保留更多高層特徵圖蘊含的高解析度細節資訊，從而提高了影象分割精度。
我們也在U-Net上面做了一些工作。我們在網路中引入鄰層特徵重建和跨層特徵重建增強層與層之間特徵資訊傳遞的同時，進一步對高層卷積特徵層中豐富的細節資訊進行了利用，從而最大化地提高了網路各層中的特徵資訊的利用率。
跨層特徵重建：跨層特徵重建模組建立在編碼器-解碼器結構的基礎上，旨在將語義資訊更豐富的高層卷積特徵層和低層卷積特徵進行融合。因為在網路傳播的過程中，隨著網路越來越深，相應特徵圖的感受野會越來越大，但是保留的細節資訊會越來越少
很多工作通過融合多層來提升檢測和分割的效能，按照融合與預測的先後順序，分類為早融合(Early fusion)和晚融合(Late fusion)。
早融合(Early fusion): 先融合多層的特徵，然後在融合後的特徵上訓練預測器（只在完全融合之後，才統一進行檢測）。這類方法也被稱為skip connection，即採用concat、add操作。這一思路的代表是Inside-Outside Net(ION)和HyperNet。 兩個經典的特徵融合方法：
（1）concat：系列特徵融合，直接將兩個特徵進行連線。兩個輸入特徵x和y的維數若為p和q，輸出特徵z的維數為p+q；
（2）add：並行策略[36]，將這兩個特徵向量組合成復向量，對於輸入特徵x和y，z = x + iy，其中i是虛數單位。
晚融合(Late fusion)：通過結合不同層的檢測結果改進檢測效能（尚未完成最終的融合之前，在部分融合的層上就開始進行檢測，會有多層的檢測，最終將多個檢測結果進行融合）。這一類研究思路的代表有兩種：
（1）feature不融合，多尺度的feture分別進行預測，然後對預測結果進行綜合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
（2）feature進行金字塔融合，融合後進行預測，如Feature Pyramid Network(FPN)等。