論文下載：

https://arxiv.org/pdf/1709.01507.pdf

論文原始碼：

https://github.com/hujie-frank/SENet

論文摘要：

卷積神經網路(CNNs)的核心構造是卷積操作器(convolution operator)，它使網路能夠通過在每一層的區域性接受域內融合空間和通道資訊來構建資訊特徵。作者通過大量的研究發現，大部分改進的重點是提高整個特徵層次的空間編碼質量來增強CNN的表徵能力。在這項工作中，作者關注的是通道關係，並提出了一個新的結構單元，稱為“Squeeze-and-Excitation blocks”(壓縮-激勵SE塊)，這些塊可以堆疊在一起，形成SE-Net架構，在不同的資料集之間極其有效地泛化。只需要略微增加計算成本，SE塊為當時現有的最先先進的CNNs網路帶來了顯著的效能改善

SE-Net塊：

提出的目的是通過明確地建模網路卷積特性的通道之間的相互依賴關係來提高網路生成表示的質量。下圖為改模組的結構。

可以執行特徵中心校準。通過擠壓操作，產生一個通道描述符(channel descriptor)聚合特徵圖在H×W的空間維度中。

這個通道描述符(channel descriptor)的作用是產生一個全面性(global distribution)的channel-wise特徵響應，允許所有層的全面接受域網路(the global receptive field)提供相應的特徵。

SE-Net塊相關公式：

v表示卷積核，x表示輸入特徵，其中*表示卷積，為了簡化符號，省略了偏差項：

使用全域性平均池化將整個通道壓縮成一個通道描述符，第c個通道的表示如下：

下圖為全面捕獲通道依賴性資訊所進行的操作，使用簡單的閘門機制(gating mechanism)和sigmoid啟用, δ為ReLU函式，σ為sigmoid啟用：

最終的輸出通過重新調節變換輸出U得到：

新增SE塊前後結構的對比：

左圖為原始的Inception和SE-Inception架構的對比。右圖為原始的ResNet和SE-ResNet架構的對比。

SE塊的靈活性在於它可以直接應用於標準卷積外得到變換。作者為了說明這一點，將SE塊整合到兩個流行的Inception和ResNet中來開發SE-Net。

在燒蝕研究中探索了SE塊整合設計：

實驗結果：

卷積模組具體的引數以及架構細節：

為了進行公平的比較，對基線模型進行了重新培訓，並在重新實現欄中報告了分數。SENet列是指添加了SE塊的相應架構。括號中的數字表示重新實現基線後的效能改進。

SE塊對不同深度基礎網路的影響(以ResNet為例)，表明SE塊在不同深度上的網路上計算複雜度極小增加，始終提高效能：

將研究SE塊與另外兩種最先進的架構Inception-ResNet-v2和ResNeXt的結合效果：

討論部分：

研究SE-ResNet-50模型的樣本啟用，並考察它們在不同塊不同類別下的分佈情況。具體而言，作者從ImageNet資料集中抽取了四個類，這些類表現出語義和外觀多樣性，即金魚，哈巴狗，刨和懸崖（圖7中顯示了這些類別的示例影象）。然後，從驗證集中為每個類抽取50個樣本，並計算每個階段最後的SE塊中50個均勻取樣通道的平均啟用（緊接在下采樣之前），並在圖8中繪製它們的分佈。作為參考，作者也繪製所有1000個類的平均啟用分佈：