緒論

卷積神經網路應用：

分類、檢索、檢測、分割

例如：人臉識別、表情識別、影象生成、影象風格轉化、自動駕駛

深度度學習：

• 搭建神經網路結構；
• 找到一個合適的損失函式；
• 找到一個合適的優化函式，更新引數。

基本組成結構

1. 卷積
   1. input：輸入
   2. kernel/filter:卷積核/過濾器
   3. weight：權重
   4. receptive filed ：感受野
   5. activation map：特徵圖
   6. padding
   7. channel：深度
   8. output：輸出
2. 池化
3. 全連線

卷積神經網路典型結構

AlexNet

　　ReLU 函式：

　　優點：

• 解決了梯度消失問題（在正區間）
• 計算速度特別快，只需要判斷是否大於0
• 收斂速度遠快於sigmoid

　　DropOut（隨即失活）【隨即關閉神經元】作用：防止過擬合

第一次卷積：卷積-ReLU-池化

第二次卷積：卷積-ReLU-池化

VGG

更深的網路，遷移學習，先訓練前八層（AlexNet）

GoogleNet

引數量是AlexNet的1/2，沒有FC層

Inception V2：插入1*1卷積核進行降維

Inception V3：把5*5卷積核裂變成兩個3*3的卷積核

好處：

• 降低引數量
• 增加非線性啟用函式，是網路產生更多獨立特，表徵能力更強，訓練速度更快。

stem：卷積-池化-卷積-卷積-池化

多個Inception

輸出無額外全連線層

ResNet

殘差學習網路

深度152層，無梯度消失現象。

思想：去掉相同的主體部分，從而突出微小的變化。

可以被用來訓練非常深的網路。