深度學習中為什麼使用卷積?
阿新 • • 發佈:2019-01-07
深層神經網路中使用卷積的優點:引數共享
,稀疏連線
,平移不變
。
引數共享
(Parameter Sharing
)
準確的定義如下:
A feature detector (such as a vertical edge detector) that's useful in one part of the image is probably useful in another part of the image.
直觀的理解就是,一個卷積核,如果它適用於一幅圖片的左上角做邊緣檢測,則他也能適用於圖片的右下角。
卷積核的引數不需要改動,就能被適應,這就是所謂引數共享
。
稀疏連線
(Sparsity of Connections
)
準確的定義如下:
In each layer, each output value depends only on a small number of inputs.
直觀的理解就是,卷積輸出的每一個數值(畫素),只與卷積核大小的畫素值有關,與卷積核範圍之外的其它畫素無關。
平移不變
(Translation Invariance
)
即使把圖片移動幾個畫素,這張圖片依然具有非常相似的特徵。
怎麼理解呢?平移後,MaxPooling的輸出,在一定範圍內還是相同的(不變)。
結論
深層神經網路中使用卷積,可以通過引數共享
稀疏連線
,減少引數。引數少了,我們就能用更少的訓練集來訓練網路,從而預防過擬合。
- 卷積層只需要很少的引數,就能連線兩個很大維度的特徵
- 全連線層,要連線兩個很大維度的特徵,引數會非常多
而有Pooling層的存在,神經網路具備平移不變
這樣的性質,提高了泛化能力。