區域性反應歸一化

\[b^{i}_{x,y} =a^{i}_{x,y}/ \left( k + \alpha \sum_{j=max(0, i-n/2)}^{min(N-1,i+n/2)}(a^j_{x,y})^2\right)\]

資料預處理

這篇論文中，提到的對資料的預處理包含了三個部分，第一部分是圖片的均值歸零處理，第二部分是圖片的crop取樣，第三部分是對圖片進行fancy PCA取樣。

均值歸零

歸零的操作可以使資料在輸入的時候處於一個比較對稱的分佈，而不是正偏或者負偏，從而導致模型出錯，比如說負偏的化可能會導致梯度彌散，而正偏與負偏其實就是一個符號的差別。

crop取樣：

論文中提到說AlexNet對於其訓練任務其實是過擬合的，因此它採取了一些列手段，其中就包含了crop取樣。論文對256的圖片進行224的隨機crop取樣，那麼對於每一張圖片，都可以產生2048種不同的樣本，並且，論文還使用了映象，直接導致資料集大小翻了2048*2=4096倍。雖然說大量的資料集之間存在相關性，但是也是一定程度降低了過擬合程度。

Fancy PCA取樣：

論文通過求得每個畫素點的協方差矩陣（3*3），從而求得特徵值和特徵向量，然後在對特徵值進行一部分的波動，求出一個新的協方差矩陣，在加到原本的畫素上，從而實現一種濾鏡的效果。這種方法同樣也可以產生大量的新樣本。
這一方案能夠近似地捕捉原始影象的一些重要特徵，即那些不隨光線強度與顏色變化的物體特質。這一方法把top-1錯誤降低了1%。