1.概觀

卷積取的是區域性特徵，全連線就是把以前的區域性特徵重新通過權值矩陣組裝成完整的圖。因為用到了所有的區域性特徵，所以叫全連線。

全連線層（fully connected layers，FC）在整個卷積神經網路中起到“分類器”的作用。如果說卷積層、池化層和啟用函式層等操作是將原始資料對映到隱層特徵空間的話，全連線層則起到將學到的“分散式特徵表示”對映到樣本標記空間的作用。

2.全連線層的理解

——————————以下為個人看法，如果有錯，歡迎錘正！——————————

假設我們現在的任務是去區別一圖片是不是貓、

假設這個神經網路模型已經訓練到此階段，如圖：

經過卷積，池化，啟用等層，現已提取了上圖所示的區域性特徵，且已到達了第一層全連線層並激活符合特徵存在的部分神經元，該連線層是一維的，而這個層的作用就是根據提取到的區域性特徵進行相關操作進行組合並輸出到第二個全連線層的某個神經元處，如上圖，經過組合我們可以知道這是個喵頭。

那我們現在往後走一層，到第二層全連線層，假設貓的身體其他部位特徵也都被上述類似的操作提取和組合出來，得

當我們找到這些特徵，神經元就被激活了（上圖紅色圓圈）

此時，再將上圖中的特徵進行組合並輸出到輸出層，經過softmax函式進行分類，得出結論，這是隻貓。

至此，關於全連線層的資訊就簡單介紹完了

3.全連線層和其他層，全連線層與全連線層之間的換算

以上圖為例，我們仔細看上圖全連線層的結構，全連線層中的每一層是由許多神經元組成的（1x 4096）的平鋪結構，上圖不明顯，我們看下圖

當我第一次看到這個全連線層，我的第一個問題是

它是怎麼樣把3x3x5的輸出，轉換成1x4096的形式

很簡單,可以理解為在中間做了一個卷積

從上圖我們可以看出，我們用一個3x3x5的filter 去卷積啟用函式的輸出，得到的結果就是一個fully connected layer 的一個神經元的輸出，這個輸出就是一個值

因為我們有4096個神經元

我們實際就是用一個3x3x5x4096的卷積層去卷積啟用函式的輸出

這一步卷積一個非常重要的作用，就是把分散式特徵representation對映到樣本標記空間

就是它把特徵representation整合到一起，輸出為一個值。這樣做,有一個什麼好處？

就是大大減少特徵位置對分類帶來的影響

來，讓我來舉個簡單的例子

這個例子可能過於簡單了點

可是我懶得畫了，大家將就著看吧

從上圖我們可以看出，貓在不同的位置，輸出的feature值相同，但是位置不同

對於電腦來說，特徵值相同，但是特徵值位置不同，那分類結果也可能不一樣

而這時全連線層filter的作用就相當於，喵在哪我不管，我只要喵

於是我讓filter去把這個喵找到

實際就是把feature map 整合成一個值

這個值大

哦，有喵

這個值小

那就可能沒喵

和這個喵在哪關係不大了有沒有

魯棒性有大大增強了有沒有

因為空間結構特性被忽略了，所以全連線層不適合用於在方位上找Pattern的任務，比如segmentation

ok, 我們發現全連線層有兩層1x4096fully connected layer平鋪結構(有些網路結構有一層的，或者二層以上的)

但是大部分是兩層以上呢

這是為啥子呢

泰勒公式都知道吧

意思就是用多項式函式去擬合光滑函式

我們這裡的全連線層中一層的一個神經元就可以看成一個多項式

我們用許多神經元去擬合數據分佈

但是隻用一層fully connected layer 有時候沒法解決非線性問題

而如果有兩層或以上fully connected layer就可以很好地解決非線性問題了