本篇部落格主要內容參考圖書《神經網路與深度學習》，李航博士的《統計學習方法》National Taiwan University (NTU)李巨集毅老師的《Machine Learning》的課程，在下文中如果不正確的地方請積極指出。
如果喜歡請點贊，歡迎評論留言 ！ o(￣▽￣)ブ

歡迎大家在評論區多多留言互動~~~~

1. 為什麼要使用卷積神經網路

  在之前的手寫數字分類的例子中，是直接使用全連線神經網路的進行影象分類的。但是仔細推敲，使用全連線層的網路來分類影象是很奇怪的，因為這樣的一個網路架構不考慮影象的空間結構。所以一個很直接的考慮就是引入影象的一種空間關係來構建神經網路，也就是這裡要介紹的卷積神經網路（CNN）。
  正是由於考慮了空間結構，所以卷積神經網路可以更快的訓練，從而獲得一個深度的、多層的神經網路，並可以在影象分類上獲得較好的結果。

2. CNN 中的基本概念

  在這裡我們將介紹 CNN 中的主要的三個概念，即：區域性感受野（local receptive fields），共享權重（shared weights），和池化（pooling）。

2.1 區域性感受野

  對於輸入的影象，在這裡並不會像之前的全連線神經網路一樣按行排列成一個長的向量，而是仍然保持其原有的樣子，如下所示

圖1. 卷積神經網路的輸入神經元排列方式

如圖1所示為卷積神經網路的輸入神經元排列方式，實際上因為輸入神經元與畫素是一一對應的關係，所以也可以看作是輸入的影象。在這裡我們不會把每個輸入畫素連線到每個隱藏神經元。相反，我們只是把輸入影象進行小的、區域性區域的連線。說的確切一點，第一個隱藏層中的每個神經元會連線到一個輸入神經元的一個小區域（例如一5×5個的區域，對應於25個輸入畫素）。所以對於一個特定的隱藏神經元，我們可能有看起來像圖2的連線：

圖2. 卷積神經網路的輸入層於隱層的連線方式

這個輸入影象的區域被稱為隱藏神經元的區域性感受野，它是輸入畫素上的一個小視窗。每個連線學習一個權重。而隱藏神經元同時也學習一個總的偏置。你可以把這個特定的隱藏神經元看作是在學習分析它的區域性感受野。

  我們然後在整個輸入影象上交叉移動區域性感受野。對於每個區域性感受野，在第一個隱藏層中有一個不同的隱藏層神經元。為了正確說明，讓我們從左上角開始一個區域性感受野：

然後我們往右一個畫素（即一個神經元）移動區域性感受野，連線到第二個隱藏神經元：

如此重複，構建起第一個隱藏層。注意如果我們有一個 28×28 的輸入影象，5×5 的區域性感受野，那麼隱藏層中就會有 24×24 個神經元。在這裡每次移動的過程是一個畫素，即步長為1，有的時候步長也可以是2。

2.2 共享權重和偏置

  按照上面的說明過程，對於每一個給定的區域性感受野有一個對應的隱層的神經元，比如一個5×5的感受野所對應的隱層的神經元應該具有25個權值和1個偏置。而通過上面的分析可以知道，隱層中共有 24×24 個神經元，所以共有25×24×24 個權值和 24×24 個偏置，但是在卷積神經網路中卻不是這樣的，因為這樣的計算量過大。在這裡，對 24×24 個隱藏神經元中的每一個使用相同的權重和偏置，也就是說共用一個 5×5 的權值和 1 個偏置。
  這意味著第一個隱藏層的所有神經元檢測完全相同的特徵，只是在輸入影象的不同位置，這一點與影象處理中的卷積的概念是一致的，我猜測這就它叫卷積神經網路的原因吧。把權重和偏置設想成隱藏神經元可以挑選的東西，例如，在一個特定的區域性感受野的垂直邊緣。這種能力在影象的其它位置也很可能是有用的。因此，在影象中應用相同的特徵檢測器是非常有用的。用稍微更抽象的術語，卷積網路能很好地適應影象的平移不變性：例如稍稍移動一幅貓的影象，它仍然是一幅貓的影象。
  因為這個原因，我們有時候把從輸入層到隱藏層的對映稱為一個特徵對映。我們把定義特徵對映的權重稱為共享權重。我們把以這種方式定義特徵對映的偏置稱為共享偏置。共享權重和偏置經常被稱為一個卷積核或者濾波器。
  目前我描述的網路結構只能檢測一種區域性特徵的型別。為了完成影象識別我們需要超過一個的特徵對映，所以一個完整的卷積層由幾個不同的特徵對映組成，如下圖所示

在這個例子中，每個特徵對映定義為一個 5×5 共享權重和單個共享偏置的集合。其結果是網路能夠檢測3種不同的特徵，每個特徵都在整個影象中可檢測。在實際使用的過程中可以使用更過的卷積核。

  共享權重和偏置的一個很大的優點是，它大大減少了參與的卷積網路的引數。

2.3 池化層

  池化層通常緊接著在卷積層之後使用，簡化從卷積層輸出的資訊。一種常見的池化方法為最大池化方法，它簡單地輸出其 2×2 輸入區域的最大啟用值，具體如圖6所示

圖6. 最大池化的過程

注意既然從卷積層有 24×24 個神經元輸出，池化後我們得到 12×12 個神經元。同樣的對於每一個卷積層的輸出都可以進行池化。我們可以把最大值池化看作一種網路詢問是否有一個給定的特徵在一個影象區域中的哪個地方被發現的方式。然後它扔掉確切的位置資訊。直觀上，一旦一個特徵被發現，它的確切位置並不如它相對於其它特徵的大概位置重要。一個很大的好處是，這樣可以有很多被更少地混合的特徵，所以這有助於減少在以後的層所需的引數的數目。最大值混合並不是用於混合的僅有的技術，另一個常用的方法是L2 混合（L2 pooling）。

3. 卷積神經網路的總體過程

圖6. 卷積神經網路總體過程

這個網路從 28×28 個輸入神經元開始，這些神經元用於對 MNIST 影象的畫素強度進行編碼。接著的是一個卷積層，使用一個 5× 5區域性感受野和 3 個特徵對映。其結果是一個3×24×24 隱藏特徵神經元層。下一步是一個最大值池化層，應用於 2×2 區域，遍及3個特徵對映，結果是一個 3×12×12 隱藏特徵神經元層。網路中最後連線的層是一個全連線層。更確切地說，這一層將最大值池化層的每一個神經元連線到每一個輸出神經元，和我們之前章節中使用的相同。

4. 卷積神經網路的反向傳播過程

  我們確實需要對反向傳播程式做些修改。原因是我們之前的反向傳播的推導是針對全連線層的網路。幸運的是，針對卷積和最大值混合層的推導是簡單的。在一個具有全連線層的網路中，反向傳播的核心方程是（BP1）–（BP4）。假設我們有這樣一個網路，它包含有一個卷積層，一個最大值混合層，和一個全連線的輸出層，正如上面討論的那樣。
  具體過程留一個坑，日後來填。