本篇博文主要是閱讀Karen Simonyan的論文《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》的一些筆記，博文中的圖表也均來自論文原文。詳細的內容還是看論文的好。。。

摘要

在本文中，我們研究了在大規模影象識別任務中卷積神經網路的深度對準確率的影響。我們主要的貢獻是利用帶有很小卷積核（3*3）的網路結構對逐漸加深的網路進行評估，結果表明通過加深網路深度至16-19層可以極大地改進前人的網路結構。這些發現也是我們參加2014年ImageNet比賽的基礎，並且在這次比賽中，我們分別在定位和分類跟蹤任務中取得第一名和第二名。同時我們的模型對其他資料集也有很好的泛化能力，在這些資料上取得了最好的結果。為了促進計算機視覺領域深度視覺模型的進一步研究，我們公開了兩個表現最好的卷積神經網路模型。

網路結構

模型結構中的一些細節說明：

• 輸入均是裁剪過的224*224大小的RGB圖片，並經過去均值處理。
• 卷積層中卷積核大小均是3*3，步長為1（stride = 1），補1圈0 (pad = 1)。
• 池化層均採用最大池化（max pooling），但不是所有的卷積層都有池化層，池化視窗為2*2，步長為2，即採用的是不重疊池化。
• 所有隱含層後都配有有ReLU層
• 引數數量（見下表）：
  
  
  

選用3*3卷積核代替大卷積核的好處：

2個3*3的卷積核串聯和用一個5*5的卷積核有相同的感知野，3個3*3的卷積核串聯和用一個7*7的卷積核有相同的感知野。但前者相比於後者有更少的引數。

舉個簡單的例子，假設輸入特徵圖（feature map）的大小為32*32*3（寬 * 高 * 通道數）：
case 1: 採用1個5*5的卷積核，stride = 1, pad=2, 輸出特徵圖的大小等於： （32+2∗pad−5）/1+1=32，引數的數量為3∗（5∗5）=75個（每個通道25個，共3個通道）；
case 2: 採用2個3*3的卷積核，stride = 1, pad=1, 第一次卷積後特徵圖大小等於：(32+2∗pad−3)/1+1=32，第二次卷積輸出特徵圖的大小等於： （32+2∗pad−3）/1+1=32，總引數的數量為2∗3∗（3∗3）=54個（每個通道9個，共3個通道，2個卷積層），比單獨使用一個5*5的卷積核少了21個。

模型訓練

除了從多尺度的訓練影象中進行取樣，其他基本和AlexNet模型的訓練方法一致：
- 資料集擴充（data aumentation）: 隨機裁剪（crop）、水平翻轉（horizontal flips）、RGB顏色變化（color shift）
- 訓練採用小批量梯度下降法加上動量（mini-batch stochastic gradient descent + momentum）,batch size = 256, momentum = 0.9;
- 正則化方法採用weight decay（L2罰函式乘子設為0.0005）和dropout（丟棄率設為0.5）；
- 初始學習率（learning rate）為0.001，當在驗證集上的準確率不再提高是學習率變為原來的0.1倍，一共降低了3次；
- 總迭代次數為370k (74 epochs), epochs指訓練集完整遍歷的次數
- 採用2種設定訓練影象大小方法： （1）固定訓練集圖片大小，如256*256和384*384；（2）多尺度訓練，讓訓練集的大小在一個範圍內隨機變化，如S∈[Smin,Smax]=[256,512]，具體可以看論文。

模型測試

在測試階段，首先選定一個測試集圖片大小Q，然後在這個圖片上應用訓練好的卷積網路，在最後一個卷積階段產生未經池化的特徵圖，然後利用滑動視窗的方法，每種池化視窗產生一個分類輸出，然後融合各個結果，得到最終分類。這樣做相對於取10個圖片塊的好處是更加高效，因為只需計算一次卷積過程。

參考文獻

• Karen Simonyan, Andrew Zisserman. very deep convolutional networks for large-scale image recognition.