AlexNet

2012年，Hinton的學生Alex Krizhevsky提出了深度卷積神經網路模型AlexNet，獲得當年ILSVRC（Image Large Scale Visual Recognition Challenge）比賽分類專案的冠軍。

AlexNet主要使用到的新技術如下：

a) 成功使用ReLU作為CNN的啟用函式，並驗證了其在較深網路中的有效性，解決了Sigmod在網路較深時的梯度彌散問題。
b) 訓練時在最後幾個全連線層使用Dropout隨機忽略一部分神經元以避免模型過擬合，
c) 使用重疊的最大池化。AlexNet全部使用最大池化，避免平均池化的模糊效果；並提出讓步長比池化核的尺寸小，這樣池化層的輸出之間會有重疊覆蓋，特升了特徵的豐富性。
d) 提出LRN（Local Response Normalization，區域性響應歸一化）層，如今已很少使用。
e) 使用CUDA加速深度卷積神經網路的訓練。當初用的還是兩塊GRX 580 GPU，發展的好快呀。
f) 資料增強

，隨機從256*256的原始影象中擷取224*224大小的區域作為網路輸入。

整個AlexNet有5個卷積層和3個全連線層。

使用tensorflow實現AlexNet

VGGNet

VGGNet結構非常簡潔，其特點如下：

a) 通過反覆堆疊3*3的小型卷積核和2*2的最大池化層構建。
b) VGGNet擁有5段卷積，每一段卷積網路都會將影象的邊長縮小一半，但將卷積通道數翻倍：64 —>128 —>256 —>512 —>512 。這樣影象的面積縮小到1/4，輸出通道數變為2倍，輸出tensor的總尺寸每次縮小一半。
c) 經常多個完全一樣的3*3

的卷積層堆疊在一起。這其實是非常有用的設計：3個3*3的卷積層串聯相當於1個7*7的卷積層，即一個畫素會跟周圍7*7的畫素產生關聯，可以說感受野大小是7*7。而且前者擁有比後者更少的引數量，3×3×37×7=55%。更重要的是，3個3*3的卷積層擁有比1個7*7的卷積層更多的線性變換（前者可以使用三次ReLU啟用函式），使得CNN對特徵的學習能力更強。

d) 訓練時有個小技巧：先訓練級別A的簡單網路，再複用A網路的權重初始化後幾個複雜模型，這樣訓練收斂的速度更快。

使用tensorflow實現VGGNet

Google Inception Net

具有如下特點：

a) 在控制了計算量和引數量的同時，獲得了非常好的分類效能。Inception V1有22層深，但其計算量只有15億次浮點運算，同時只有500萬的引數量，即為AlexNet引數量（6000萬）的1/12。為什麼要降低引數量？第一，引數越多模型越龐大，（同樣深度下）需要供模型學習的資料量就越大，而目前高質量的資料又很貴；第二，引數越多，耗費的計算資源也越大。Inception V1引數少但效果好的原因之一就在於其模型引數更深、表達能力更強。
b) 去除了最後的全連線層，使用1*1的卷積層來替代，這樣是模型訓練更快並減輕了過擬合。關於這方面可參見：為什麼使用卷積層替代CNN末尾的全連線層
c) 精心設計的Inception Module（Network In Network的思想）有選擇地保留不同層次的高階特徵，最大程度地豐富網路的表達能力。一般來說卷積層要提升表達能力，主要依靠增加輸出通道數（副作用是計算量大和過擬合）。因為每一個輸出通道對應一個濾波器，同一個濾波器共享引數只能提取一類特徵，因此一個輸出通道只能做一種特徵處理。Inception Module一般情況下有4個分支：第一個分支為1*1卷積（價效比很高，低成本（計算量小）的跨通道特徵變換，同時可以對輸出通道升維和降維），第二個分支為1個1*1卷積再接分解後(factorized)的1*n和n*1卷積 （Factorization into small convolutions的思想），第三個分支和第二個類似但一般更深一些，第四個分支為最大池化（增加了網路對不同尺度的適應性，Multi-Scale的思想）。因此Inception Module通過比較簡單的特徵抽象（分支1）、比較複雜的特徵抽象（分支2和分支3）和一個簡化結構的池化層（分支4）有選擇地保留不同層次的高階特徵，這樣可以最大程度地豐富網路的表達能力。


d) Inception V2提出了著名的Batch Normalization方法。BN用於神經網路某層時，會對每一個mini-batch資料內部進行標準化（normalization）處理，是輸出規範化到N(0, 1)的正態分佈，減少了Internal Covariate shift。關於這方面可參見： 為什麼會出現Batch Normalization層
e) Inception V3引入了Factorization into small convolutions的思想，將一個較大的二維卷積拆成兩個較小的一維卷積。比如，將7*7卷積拆成1*7和7*1兩個卷積。這樣做節約了大量引數，加速運算並減輕了過擬合（比將7*7卷積拆成3個3*3卷積更節約引數）；並且論文指出這種非對稱的卷積結構拆分比對稱地拆分為幾個相同的小卷積核效果更明顯，可以處理更多、更豐富的空間特徵，增加特徵多樣性。

使用tensorflow實現inception_v3

ResNet

這是一種新的網路思想，說一下我自己的理解。

為什麼會出現Residual Learning

人們觀察到一個典型現象：當網路一直加深時，準確率會趨於峰值，然後再加深網路準確率反而會下降（在訓練集和測試集上均是如此，這顯然就不是過擬合了）。ResNet作者把這種現象稱為degradation problem。

然後大家開始想，前向傳播過程中資訊量越來越少是不錯，但也不至於逼近效果越來越差呀。聰明的小夥子（嚴肅來講應該是大神）He提出：把新增加的層變為恆等對映（identity mappings），這樣至少效果不會越來越差吧。既然網路能擬合函式H(x)，是不是也能同樣擬合H(x)-x。說幹就幹，實驗是檢驗真理的唯一標準。於是得出結論“擬合H(x)-x比直接擬合H(x)更簡單”（當然理論上他也有一套自己的解釋：如果我們想要得到的最優結果是x，擬合前者顯然更簡單，權重直接為0即可；雖然現實中我們想要的並非x，但我們想要的更應該接近x而非接近0吧）。哈哈，深度殘差網路就這樣誕生了。

ResNet單元模組

如上圖所示為兩種型別的block，block定義如下：

y=F(x,Wi)+x
對於block裡只有兩個卷積的情況，
F=W2σ(W1x)
上述公式裡兩者相加存在一個問題：
1. 各個維度相同，直接相加即可
2. 維度不同（在第一張圖網路的虛線處，feature map尺寸大小和通道數均發生變化），論文中說給x加個Ws的對映。我的理解是對x加個池化（stride=2）即可滿足尺寸變化，然後再利用1*1小卷積升維即可。

ResNet網路特點

a) 網路較瘦，控制了引數數量；
b) 存在明顯層級，特徵圖個數逐層遞進，保證輸出特徵表達能力；
c) 沒有使用Dropout，利用BN和全域性平均池化進行正則化，加快了訓練速度；
d) 層數較高時減少了3x3卷積個數，並用1x1卷積控制了3x3卷積的輸入輸出特徵圖數量，稱這種結構為“瓶頸”(bottleneck)。
參考：https://zhuanlan.zhihu.com/p/22447440

使用tensorflow實現Resnet_v2

參考：
1.以上相關模型的論文，這裡就不貼了
2.書籍《Tensorflow實戰》