1*1的卷積核在NIN、Googlenet中被廣泛使用，但其到底有什麼作用也是一直困擾的問題，這裡總結和歸納下在網上查到的自認為很合理的一些答案，包括1）跨通道的特徵整合2）特徵通道的升維和降維  3）減少卷積核引數（簡化模型）

部分轉載自caffe.cn

作用：
1. 實現跨通道的互動和資訊整合
2. 進行卷積核通道數的降維和升維
3.對於單通道feature map 用單核卷積即為乘以一個引數，而一般情況都是多核卷積多通道，實現多個feature map的線性組合

4、可以實現與全連線層等價的效果。如在faster-rcnn中用1*1*m的卷積核卷積n（如512）個特徵圖的每一個位置（畫素點），其實對於每一個位置的1*1卷積本質上都是對該位置上n個通道組成的n維vector的全連線操作。

下面詳細解釋一下：
1. 1×1的卷積層（可能）引起人們的重視是在NIN的結構中，論文中林敏師兄的想法是利用MLP代替傳統的線性卷積核，從而提高網路的表達能力。文中同時利用了跨通道pooling的角度解釋，認為文中提出的MLP其實等價於在傳統卷積核後面接cccp層，從而實現多個feature map的線性組合，實現跨通道的資訊整合。而cccp層是等價於1×1卷積的，因此細看NIN的caffe實現，就是在每個傳統卷積層後面接了兩個cccp層（其實就是接了兩個1×1的卷積層）。
2. 進行降維和升維引起人們重視的（可能）是在GoogLeNet裡。對於每一個Inception模組（如下圖），原始模組是左圖，右圖中是加入了1×1卷積進行降維的。雖然左圖的卷積核都比較小，但是當輸入和輸出的通道數很大時，乘起來也會使得卷積核引數變的很大，而右圖加入1×1卷積後可以降低輸入的通道數，卷積核引數、運算複雜度也就跟著降下來了。以GoogLeNet的3a模組為例，輸入的feature map是28×28×192，3a模組中1×1卷積通道為64，3×3卷積通道為128,5×5卷積通道為32，如果是左圖結構，那麼卷積核引數為1×1×192×64+3×3×192×128+5×5×192×32，而右圖對3×3和5×5卷積層前分別加入了通道數為96和16的1×1卷積層，這樣卷積核引數就變成了1×1×192×64+（1×1×192×96+3×3×96×128）+（1×1×192×16+5×5×16×32），引數大約減少到原來的三分之一。同時在並行pooling層後面加入1×1卷積層後也可以降低輸出的feature map數量，左圖pooling後feature map是不變的，再加捲積層得到的feature map，會使輸出的feature map擴大到416，如果每個模組都這樣，網路的輸出會越來越大。而右圖在pooling後面加了通道為32的1×1卷積，使得輸出的feature map數降到了256。GoogLeNet利用1×1的卷積降維後，得到了更為緊湊的網路結構，雖然總共有22層，但是引數數量卻只是8層的AlexNet的十二分之一（當然也有很大一部分原因是去掉了全連線層）。

最近大熱的MSRA的ResNet同樣也利用了1×1卷積，並且是在3×3卷積層的前後都使用了，不僅進行了降維，還進行了升維，使得卷積層的輸入和輸出的通道數都減小，引數數量進一步減少，如下圖的結構。（不然真不敢想象152層的網路要怎麼跑起來TAT）

另一個很有代表性的降維的例子

主要用在inception結構中，稱之為"bottleneck",主要用於降維，節省計算量，比如在Resnet中，inception的一個分支長這樣

假設上一層的feature map是w*h*256,並且最後要輸出的是256個feature map，如果用3*3的核,運算元大概是w*h*256*3*3*256 =589824*w*h ,而在bottleneck架構中大概是 w*h*256*1*1*64 + w*h*64*3*3*64 +w*h*64*1*1*256 = 69632*w*h,，前者大概是後者的8.5倍，所以節省的還是很多的。

另外有人說也可以增加非線性，因為一般1*1後面都要接Relu，所以增加了兩個非線性層

3.對於單通道的feature map和單個卷積核之間的卷積來說,1X1卷積核就是對輸入的一個比例縮放，因為1X1卷積核只有一個引數，這個核在輸入上滑動，就相當於給輸入資料乘以一個係數。對於多通道而言有一個重要的功能，就是可以在保持feature map 尺寸不變（即不損失解析度）的前提下大幅增加非線性特性，把網路做得很deep。CNN裡的卷積大都是多通道的feature map和多通道的卷積核之間的操作（輸入的多通道的feature map和一組卷積核做卷積求和得到一個輸出的feature map），如果使用1x1的卷積核，這個操作實現的就是多個feature map的線性組合，可以實現feature map在通道個數上的變化。接在普通的卷積層的後面，配合啟用函式，就可以實現network in network的結構了。