1. 程式人生 > >3*3卷積核 5*5卷積核到底有多大區別

3*3卷積核 5*5卷積核到底有多大區別

為了比較3*3卷積核 和 5*5卷積核在效能上到底有多大區別設計了兩個網路去進行對比,

1.兩個3*3的卷積核,2個池化層,2個全連線層

2.兩個5*5的卷積核,2個池化層,2個全連線層

兩個網路的收斂標準,權重的初始化方式都是一樣,學習率都是0.5不變,輸入的都是一張28*28的圖片,通過改變全連線層的節點數觀察效果:


為了方便秒速將 288*120*80*10的網路稱為n1*n2*n3*n4 , n1為288 ,12851表明經過12851次迭代以後收斂

對比明顯表明無論兩個網路的卷積核是5*5還是3*3,在n3=200時效能都有很大的提升。

所以將n3=200的情況分別做了計算



計算表明3*3的卷積核在引數為400*200*10的時候效能最優,5*5的卷積核在引數200*200*10的時候效能最優

但10次計算畢竟還是太少了,分別針對真兩個引數每個做了50次運算



經過50次運算3*3的卷積核在引數400*200*10時平均迭代次數1841次,

5*5的卷積核在引數200*200*10的時候平均迭代次數2001次,效能提升了7.9%。

所以對於28*28的小圖片3*3的卷積核的收斂速度更快,效能提升顯著。