本篇部落格主要講述卷積神經網路(CNN)的一般規律和一些基本的特性。

   卷積神經網路的區域性連線、權值共享以及池化操作等特性使之可以有效地降低網路的複雜度，減少訓練引數的數目，使模型對平移、扭曲、縮放具有一定程度的不變性，並具有強魯棒性和容錯能力，且易於訓練和優化。

   目前，常用的深度學習模型有深度置信網路(Deep Belif Network),

即DBN，層疊自動去躁編碼機SDA，卷積神經網路CNN。

   激勵函式可以選擇線性糾正函式ReLU、sigmoid函式、tanh(x)函式、徑向基函式等。

   由於卷積層中輸出特徵面的每個神經元與其輸入進行區域性連線，並通過對應的連線權值與區域性輸入進行加權求和再加上偏置值，得到該神經元輸入值，該過程等同於卷積過程，CNN也由此而得名。

   CNN的卷積層通過卷積操作提取輸入的不同特徵，第1層卷積層提取低階特徵如邊緣、線條、角落，更高階的卷積層提取更高階的特徵。

   實驗表明，相對於特徵面的數目、卷積核大小，網路深度的增大帶來的效果更佳明顯。

   池化層的目的是通過降低特徵面的解析度來獲得具有空間不變性的特徵。

   為了避免訓練過擬合，常在全連線層中採用正則化方法（丟失資料dropout）技術，即使隱層神經元的輸出值以0.5的概率變為0，通過該技術部分癮層節點失效，這些節點不參加CNN的前向傳播過程，也不會參加後向傳播過程。

   C1層提取輸入影象的邊緣、輪廓特徵，可看成是邊緣檢測器，池化層的作用是在語義上把相似的特徵合併起來，池化層通過池化操作使得特徵對噪聲和變形具有魯棒性。各層所提取的特徵以增強的形式從不同角度表現原始影象，並且隨著層數的增加，其表現形式越來越抽象。

   卷積神經網路目前在影象分類、人臉識別、音訊檢索、ECG分析等多個領域有了較以往傳統網路更優的分類效果。我的師兄將CNN與EEG訊號相結合也取得了相當不錯的效果。在卷積神經網路這條路上，我們還有很長的路要走。