這篇論文在2017年由Momenta 自動駕駛AI公司和斯坦福大學團隊提出。

一、摘要

     卷積神經網路通過在區域性感受野上進行卷積操作來融合空間和通道資訊提取資訊的特徵。為了增加網路的表達的能力，最近的方法比如增加稀疏編碼獲得了不錯的效果。在本文中，作者關注通道之間的關係並且提出了一個新穎的結構單元"squeeze-and-excitation" 簡稱SE模組。這個SE模組通過準確的對通道之間的相互關係進行建模並自適應的重新校正各通道特徵的響應。作者證明了通過將SE模組疊加一起在挑戰賽資料集中測試，最終在增加少量的計算代價前提下，為當前最先進的深度框架帶了顯著的提升。

二、介紹

     最近的研究工作證實了網路的效能可以通過“embedding learning mechanism(嵌入學習機制），在沒有監督的情況下獲取空間相關性。其中一個比較流行的方法是Inception architectures，網路框架通過嵌入多尺度處理取得了不錯的準確率。最近更多的工作裡力求獲得更好的空間依賴性以及空間注意力。文章中作者通過分析各種不同方面的關於通道聯絡之間的框架，由此介紹了一個新的框架單元叫作SE模組。通過準確的塑造卷積特徵圖的通道間的聯絡使網路的表達能力得以提升。作者提出了一個機制，可以自主學習全域性的資訊去選擇有用的特徵，抑制無用的特徵。

三、squeeze-excitation模組

    1、squeeze：為了解決如何利用通道直接的依賴關係問題，在輸出的特徵圖中，我們首先以每一個通道去考慮。在區域性感受野中每一個學習到的濾波器操作不能利用除此之外的區域的上下文資訊。由於感受野太小，在底層特徵中這個問題比較嚴重。為了緩解這個問題，作者提出採用全域性平均池化的策略將全域性空間資訊擠成一個通道的描述符。具體公式如下：

也就是說將每一個通道的全域性資訊通過全域性平均池化的方法變成一個數，這個數用來描述代表這個通道，也就是整個影象。除了採用全域性平均池化的策略外也可以採用其他複雜的聚合策略來描述這個通道。

 2、Excitation：為了充分利用前一階段的通道聚合資訊，excitation操作力求獲取各通道資訊的依賴關係。首先excitation操作必須滿足兩個特點：1他必須很泛化很靈活，得具備各通道之間融合的非線性；2他必須學習一個非互斥關係。excition操作包括兩個全連線層兩個啟用層操作。為了限制模型的複雜性以及提升模型的效能，作者通過一個瓶頸層(1x1卷積）以及啟用啟用函式，最後輸出為每個通道的數值為[0,1], 這些值也就是每個通道的權重係數。即實現了利用有用的通道抑制無用的通道。再講這些這些權重引數與輸入的通道資訊進行相乘，即得到新的通道資訊，作為下一部分的輸入使用，具體公式介紹如下：

其整體SENet框架圖如下：

最後經過輸出，得到不同顏色的通道特徵圖，表示其通道不同的權重。

四、思考

   1、squeeze操作採用全域性平均池化是否換成其他的方式，更能代表這個通道的資訊。