目錄

attention 機制最初是出現在翻譯領域的，之後逐漸應用到檢測和識別上的。

總的來說，我覺得attention就是對提取的特徵進行加權，進行提升重要特徵忽略次要特徵的作用。在這個本質作用上，我覺得和SEnet的目的是相似的，只是提純的手段不一樣。

論文：Residual Attention Network for Image Classificatio

論文理解

總的來說，這篇論文有幾個重要的方面加兩張重要的圖。

幾個重要的方面：（introduction）

1.利用可堆疊的結構：Stacked network structure

2.attention residual learning：基於attention模組，借鑑residual的思想，殘差學習。

3.soft mask attention。

兩張圖：
1.整體結構圖：

2.soft mask

這張圖的主要目的是表述，通過softmask branch ，擴大了感受野。同時將attention得到的權重資訊和原始map定位對應上，最終取得加權的map。

由於加權之後的值是原始map乘以了（0,1)係數的map，所以會越來越小，同時借鑑了residualnet，加入了skip connect。

結構解釋：

網路結構中主要的就是不同stage的attention branch。根據stage的不同，map的尺寸是不同的，所以attention的dpwnsample數量不同，比如stage1就是從56*56降到28*28再到14*14，同時對稱的為3個upsample層。具體的attention如下所示：

 其中的三角表示下采樣和上取樣，條形為residual unit。

我覺得這個attention形成模組化的好處之一是，可以用多層的down-up的結構來替換，比如說命名上圖中的三個結構分別為a1,a2,a3。在原始論文中的結構，stage1,2,3分別是使用的a1,a2,a3。這是為了匹配尺寸設計的，具體的提升效果暫時不知道。

同時，加入不考慮尺寸的匹配的話，是不是也可以三個stage都使用a3結構，或者其他的組合結構。

復現的結果：

在同等情況下，帶有attention的結構比不帶attention的結構確實有提升效果，而不同組合的attention之間的效果僅有略微的差異。