本文將常規池化看作兩個步驟：
1）以步長為1在特徵圖上滑動池化視窗，尺寸大小基本保持不變， leaves the spatial resolution intact
2）以一種 uniform 和 deterministic 的方式進行降取樣
我們認為這種 uniform 和 deterministic 的降取樣方式 對於學習來說不是最優的（ which aims for generalization to unseen examples ），對此我們提出一種隨機取樣方式，這種隨機取樣 像一個 strong regularizer，可以被看作 implicit data augmentation by introducing distortions in the feature maps

Stochastic pooling 可以看作在一個池化視窗內 對特徵圖數值進行歸一化， 按照特徵圖歸一化後的 概率值大小隨機取樣選擇，即元素值大的被選中的概率也大

g being a hyperparameter named grid size

通過改變 grid size g 來控制 distortion/stochasticity

測試用的網路結構

NIN on CIFAR-10 and CIFAR-100

ResNet on CIFAR-10 and CIFAR-100

Effect of grid size

通過增加grid size 尺寸，訓練誤差變大，對應更多的隨機性。測試誤差先降低（ stronger regularization），後來升高（當訓練誤差太高時）。

This observation suggests a trade-off between the optimization feasibility and the generalization ability, which can be adjusted in different applications by setting the grid sizes of each S3Pool layer

Results on STL-10

訓練樣本數量和測試誤差的關係