1. 程式人生 > >深度學習中為什麼使用卷積?

深度學習中為什麼使用卷積?

深層神經網路中使用卷積的優點:引數共享稀疏連線平移不變

引數共享Parameter Sharing

準確的定義如下:

A feature detector (such as a vertical edge detector) that's useful in one part of the image is probably useful in another part of the image.

直觀的理解就是,一個卷積核,如果它適用於一幅圖片的左上角做邊緣檢測,則他也能適用於圖片的右下角。
卷積核的引數不需要改動,就能被適應,這就是所謂引數共享

稀疏連線
Sparsity of Connections

準確的定義如下:

In each layer, each output value depends only on a small number of inputs.

直觀的理解就是,卷積輸出的每一個數值(畫素),只與卷積核大小的畫素值有關,與卷積核範圍之外的其它畫素無關。

平移不變Translation Invariance

即使把圖片移動幾個畫素,這張圖片依然具有非常相似的特徵。

怎麼理解呢?平移後,MaxPooling的輸出,在一定範圍內還是相同的(不變)。

結論

深層神經網路中使用卷積,可以通過引數共享

稀疏連線,減少引數。引數少了,我們就能用更少的訓練集來訓練網路,從而預防過擬合。

  • 卷積層只需要很少的引數,就能連線兩個很大維度的特徵
  • 全連線層,要連線兩個很大維度的特徵,引數會非常多

而有Pooling層的存在,神經網路具備平移不變這樣的性質,提高了泛化能力。