影象分類中的max pooling和average pooling是對特徵的什麼來操作的,結果是什麼?
阿新 • • 發佈:2019-02-04
接觸到pooling主要是在用於影象處理的卷積神經網路中,但隨著深層神經網路的發展,pooling相關技術在其他領域,其他結構的神經網路中也越來越受關注。
<img src="https://pic4.zhimg.com/58b4644ffe54e733fb133466a40a8a2f_b.jpg" data-rawwidth="458" data-rawheight="143" class="origin_image zh-lightbox-thumb" width="458" data-original="https://pic4.zhimg.com/58b4644ffe54e733fb133466a40a8a2f_r.jpg">這個圖是一個典型的卷積神經網路結構圖,其中的卷積層是對影象的一個鄰域進行卷積得到影象的鄰域特徵,亞取樣層就是使用pooling技術將小鄰域內的特徵點整合得到新的特徵。 其中的卷積層是對影象的一個鄰域進行卷積得到影象的鄰域特徵,亞取樣層就是使用pooling技術將小鄰域內的特徵點整合得到新的特徵。
pooling的結果是使得特徵減少,引數減少,但pooling的目的並不僅在於此。pooling目的是為了保持某種不變性(旋轉、平移、伸縮等),常用的有mean-pooling,max-pooling和Stochastic-pooling三種。
<img src="https://pic4.zhimg.com/58b4644ffe54e733fb133466a40a8a2f_b.jpg" data-rawwidth="458" data-rawheight="143" class="origin_image zh-lightbox-thumb" width="458" data-original="https://pic4.zhimg.com/58b4644ffe54e733fb133466a40a8a2f_r.jpg">這個圖是一個典型的卷積神經網路結構圖,其中的卷積層是對影象的一個鄰域進行卷積得到影象的鄰域特徵,亞取樣層就是使用pooling技術將小鄰域內的特徵點整合得到新的特徵。 其中的卷積層是對影象的一個鄰域進行卷積得到影象的鄰域特徵,亞取樣層就是使用pooling技術將小鄰域內的特徵點整合得到新的特徵。
pooling的結果是使得特徵減少,引數減少,但pooling的目的並不僅在於此。pooling目的是為了保持某種不變性(旋轉、平移、伸縮等),常用的有mean-pooling,max-pooling和Stochastic-pooling三種。
mean-pooling,即對鄰域內特徵點只求平均,max-pooling,即對鄰域內特徵點取最大。根據相關理論,特徵提取的誤差主要來自兩個方面:(1)鄰域大小受限造成的估計值方差增大;(2)卷積層引數誤差造成估計均值的偏移。一般來說,mean-pooling能減小第一種誤差,更多的保留影象的背景資訊,max-pooling能減小第二種誤差,更多的保留紋理資訊。Stochastic-pooling則介於兩者之間,通過對畫素點按照數值大小賦予概率,再按照概率進行亞取樣,在平均意義上,與mean-pooling近似,在區域性意義上,則服從max-pooling的準則。
LeCun的“Learning Mid-Level Features For Recognition”對前兩種pooling方法有比較詳細的分析對比,如果有需要可以看下這篇論文。