一、神經網路：

增加少量隱層（淺層神經網路），增加中間層（深度神經網路，DNN）。神經網路應用在分類問題中效果好，LR或Linear SVM，線性分割都可用於分類。

二、卷積神經網路（CNN）：

卷積神經網路依舊儲存了層級結構，但層的功能和形式發生了變化。

分別有：資料輸入層、卷積計算層、激勵層、池化層、全連線層

1、資料輸入層（Input layer）

（1）去均值：把輸入資料各個維度都中心化到0（只計算訓練集上的均值）（對應下圖2的平移）

（2）歸一化：幅度歸一化到同樣的範圍（RGB的範圍本身是在一定的範圍 裡0~255，所以一般不需要歸一化）（對應於下圖3）

（3）PCA/白化：用PCA降維；白化是對資料每個特徵軸上的幅度歸一化

下圖是進行去相關和白化的操作

（2）卷積計算層（CONV layer）

a.區域性關聯。每個神經元看做一個filter，通過視窗（receptive field）滑動，filter對區域性資料計算。有多少個filter，depth就是多少。

b.固定每個神經元連線權重，可以看做一個模板，每個神經元只關注一個特性

c.需要估計權重個數減少：AlexNet  1億=>3.5w

d.一組固定的權重和不同視窗內資料做內積：卷積

詳細可參考此論文：http://blog.csdn.net/v_july_v/article/details/51812459

（3）激勵層（ReLU）

把卷積層輸出結果做非線性對映（Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Maxout）

現在主要用的是ReLU（The Rectified Linear Unit，修正線性單元）：收斂快，求梯度簡單，較脆弱，所以要小心使用（比如在中間列印一下梯度，是不是變為0了，以防止飽和）。以下是它的函式曲線

ReLU優化有一個缺點，就是一旦進入到左邊的區域，就會掛掉，下面對ReLU做了一點小的修改。

一般首選ReLU，如果ReLU失效，則會使用Leaky ReLU或Maxout；不用Sigmoid，某些情況下tanh倒是有不錯的結果，但是很少。

（4）池化層（Pooling Layer）：Max pooling和average pooling

夾在連續的卷積層中間，用於壓縮資料和引數的量，減少過擬合

（5）全連線層（FC layer）

兩層之間所有的神經元都有權重連線，通常全連線在卷積神經網路尾部。儘量使用最後全連線層的學習去還原原來的資訊

（6）輸出層

總結：

一般CNN結構依次為：

1. INPUT
2. [[CONV -> RELU]* -> POOL?] *M
3. [FC -> RELU] *K
4. FC

卷積神經網路的優缺點：

優點：

共享卷積核，對高維資料處理無壓力；

無需手動選取特徵，訓練好權重，即得特徵

分類效果好

缺點：

需要調參，需要大樣本量，訓練最好要GPU

物理含義不明確

典型的CNN：LeNet、AlexNet、ZF Net、Google Net、VGGNet（速度沒有Google Net快，但是影象轉化學習效果很好）、ResNet

CNN常用框架：Caffe、Torch、TensorFlow