原文地址：http://blog.csdn.net/hjimce/article/details/50866313

作者：hjimce

　　本篇博文主要講解2015年深度學習領域，非常值得學習的一篇文獻：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，這個演算法目前已經被大量的應用，最新的文獻演算法很多都會引用這個演算法，進行網路訓練，可見其強大之處非同一般啊。

　　近年來深度學習捷報連連、聲名鵲起，隨機梯度下架成了訓練深度網路的主流方法。儘管隨機梯度下降法對於訓練深度網路簡單高效，但是它有個毛病，就是需要我們人為的去選擇引數，比如學習率、引數初始化、權重衰減係數、Drop out比例等。這些引數的選擇對訓練結果至關重要，以至於我們很多時間都浪費在這些的調參上。那麼學完這篇文獻之後，你可以不需要那麼刻意的慢慢調整引數。BN演算法（Batch Normalization）其強大之處如下：

　　(1)你可以選擇比較大的初始學習率，讓你的訓練速度飆漲。以前還需要慢慢調整學習率，甚至在網路訓練到一半的時候，還需要想著學習率進一步調小的比例選擇多少比較合適，現在我們可以採用初始很大的學習率，然後學習率的衰減速度也很大，因為這個演算法收斂很快。當然這個演算法即使你選擇了較小的學習率，也比以前的收斂速度快，因為它具有快速訓練收斂的特性；

　　(2)你再也不用去理會過擬閤中drop out、L2正則項引數的選擇問題，採用BN演算法後，你可以移除這兩項了引數，或者可以選擇更小的L2正則約束引數了，因為BN具有提高網路泛化能力的特性；

　　(3)再也不需要使用使用區域性響應歸一化層了（區域性響應歸一化是Alexnet網路用到的方法，搞視覺的估計比較熟悉），因為BN本身就是一個歸一化網路層；

　　(4)可以把訓練資料徹底打亂（防止每批訓練的時候，某一個樣本都經常被挑選到，文獻說這個可以提高1%的精度，這句話我也是百思不得其解啊）。

　　開始講解演算法前，先來思考一個問題：我們知道在神經網路訓練開始前，都要對輸入資料做一個歸一化處理，那麼具體為什麼需要歸一化呢？歸一化後有什麼好處呢？原因在於神經網路學習過程本質就是為了學習資料分佈，一旦訓練資料與測試資料的分佈不同，那麼網路的泛化能力也大大降低；另外一方面，一旦每批訓練資料的分佈各不相同(batch 梯度下降)，那麼網路就要在每次迭代都去學習適應不同的分佈，這樣將會大大降低網路的訓練速度，這也正是為什麼我們需要對資料都要做一個歸一化預處理的原因。

　　對於深度網路的訓練是一個複雜的過程，只要網路的前面幾層發生微小的改變，那麼後面幾層就會被累積放大下去。一旦網路某一層的輸入資料的分佈發生改變，那麼這一層網路就需要去適應學習這個新的資料分佈，所以如果訓練過程中，訓練資料的分佈一直在發生變化，那麼將會影響網路的訓練速度。

　　我們知道網路一旦train起來，那麼引數就要發生更新，除了輸入層的資料外(因為輸入層資料，我們已經人為的為每個樣本歸一化)，後面網路每一層的輸入資料分佈是一直在發生變化的，因為在訓練的時候，前面層訓練引數的更新將導致後面層輸入資料分佈的變化。以網路第二層為例：網路的第二層輸入，是由第一層的引數和input計算得到的，而第一層的引數在整個訓練過程中一直在變化，因此必然會引起後面每一層輸入資料分佈的改變。我們把網路中間層在訓練過程中，資料分佈的改變稱之為：“Internal Covariate Shift”。Paper所提出的演算法，就是要解決在訓練過程中，中間層資料分佈發生改變的情況，於是就有了Batch Normalization，這個牛逼演算法的誕生。

　　就像啟用函式層、卷積層、全連線層、池化層一樣，BN(Batch Normalization)也屬於網路的一層。在前面我們提到網路除了輸出層外，其它層因為低層網路在訓練的時候更新了引數，而引起後面層輸入資料分佈的變化。這個時候我們可能就會想，如果在每一層輸入的時候，再加個預處理操作那該有多好啊，比如網路第三層輸入資料X3(X3表示網路第三層的輸入資料)把它歸一化至：均值0、方差為1，然後再輸入第三層計算，這樣我們就可以解決前面所提到的“Internal Covariate Shift”的問題了。

　　而事實上，paper的演算法本質原理就是這樣：在網路的每一層輸入的時候，又插入了一個歸一化層，也就是先做一個歸一化處理，然後再進入網路的下一層。不過文獻歸一化層，可不像我們想象的那麼簡單，它是一個可學習、有引數的網路層。既然說到資料預處理，下面就先來複習一下最強的預處理方法：白化。

　　說到神經網路輸入資料預處理，最好的演算法莫過於白化預處理。然而白化計算量太大了，很不划算，還有就是白化不是處處可微的，所以在深度學習中，其實很少用到白化。經過白化預處理後，資料滿足條件：a、特徵之間的相關性降低，這個就相當於pca；b、資料均值、標準差歸一化，也就是使得每一維特徵均值為0，標準差為1。如果資料特徵維數比較大，要進行PCA，也就是實現白化的第1個要求，是需要計算特徵向量，計算量非常大，於是為了簡化計算，作者忽略了第1個要求，僅僅使用了下面的公式進行預處理，也就是近似白化預處理：

　　公式簡單粗糙，但是依舊很牛逼。因此後面我們也將用這個公式，對某一個層網路的輸入資料做一個歸一化處理。需要注意的是，我們訓練過程中採用batch 隨機梯度下降，上面的E(xk)指的是每一批訓練資料神經元xk的平均值；然後分母就是每一批資料神經元xk啟用度的一個標準差了。

　　經過前面簡單介紹，這個時候可能我們會想當然的以為：好像很簡單的樣子，不就是在網路中間層資料做一個歸一化處理嘛，這麼簡單的想法，為什麼之前沒人用呢？然而其實實現起來並不是那麼簡單的。其實如果是僅僅使用上面的歸一化公式，對網路某一層A的輸出資料做歸一化，然後送入網路下一層B，這樣是會影響到本層網路A所學習到的特徵的。打個比方，比如我網路中間某一層學習到特徵資料本身就分佈在S型啟用函式的兩側，你強制把它給我歸一化處理、標準差也限制在了1，把資料變換成分佈於s函式的中間部分，這樣就相當於我這一層網路所學習到的特徵分佈被你搞壞了，這可怎麼辦？於是文獻使出了一招驚天地泣鬼神的招式：變換重構，引入了可學習引數γ、β，這就是演算法關鍵之處： 
　　　　　　　　　　　　　　  
　　每一個神經元xk都會有一對這樣的引數γ、β。這樣其實當： 
　　　　　　　　　　　　　　　　

　　是可以恢復出原始的某一層所學到的特徵的。因此我們引入了這個可學習重構引數γ、β，讓我們的網路可以學習恢復出原始網路所要學習的特徵分佈。最後Batch Normalization網路層的前向傳導過程公式就是：

　　上面的公式中m指的是mini-batch size。

m = K.mean(X, axis=-1, keepdims=True)#計算均值  
std = K.std(X, axis=-1, keepdims=True)#計算標準差  
X_normed = (X - m) / (std + self.epsilon)#歸一化  
out = self.gamma * X_normed + self.beta#重構變換 

　　上面的x是一個二維矩陣，對於原始碼的實現就幾行程式碼而已，輕輕鬆鬆。

　　(1)可能學完了上面的演算法，你只是知道它的一個訓練過程，一個網路一旦訓練完了，就沒有了min-batch這個概念了。測試階段我們一般只輸入一個測試樣本，看看結果而已。因此測試樣本，前向傳導的時候，上面的均值u、標準差σ 要哪裡來？其實網路一旦訓練完畢，引數都是固定的，這個時候即使是每批訓練樣本進入網路，那麼BN層計算的均值u、和標準差都是固定不變的。我們可以採用這些數值來作為測試樣本所需要的均值、標準差，於是最後測試階段的u和σ 計算公式如下：

　　上面簡單理解就是：對於均值來說直接計算所有batch u值的平均值；然後對於標準偏差採用每個batch σB的無偏估計。最後測試階段，BN的使用公式就是： 
　　　　　　　　　　　

　　(2)根據文獻說，BN可以應用於一個神經網路的任何神經元上。文獻主要是把BN變換，置於網路啟用函式層的前面。在沒有采用BN的時候，啟用函式層是這樣的： 
　　　　　　　　　　　　　　　　　z=g(Wu+b) 
　　也就是我們希望一個啟用函式，比如s型函式s(x)的自變數x是經過BN處理後的結果。因此前向傳導的計算公式就應該是： 
　　　　　　　　　　　　　　　　z=g(BN(Wu+b)) 
　　其實因為偏置引數b經過BN層後其實是沒有用的，最後也會被均值歸一化，當然BN層後面還有個β引數作為偏置項，所以b這個引數就可以不用了。因此最後把BN層+啟用函式層就變成了： 
　　　　 　　　　　　　　　　　　　z=g(BN(Wu))

　　通過上面的學習，我們知道BN層是對於每個神經元做歸一化處理，甚至只需要對某一個神經元進行歸一化，而不是對一整層網路的神經元進行歸一化。既然BN是對單個神經元的運算，那麼在CNN中卷積層上要怎麼搞？假如某一層卷積層有6個特徵圖，每個特徵圖的大小是100*100，這樣就相當於這一層網路有6*100*100個神經元，如果採用BN，就會有6*100*100個引數γ、β，這樣豈不是太恐怖了。因此卷積層上的BN使用，其實也是使用了類似權值共享的策略，把一整張特徵圖當做一個神經元進行處理。

　　卷積神經網路經過卷積後得到的是一系列的特徵圖，如果min-batch sizes為m，那麼網路某一層輸入資料可以表示為四維矩陣(m,f,p,q)，m為min-batch sizes，f為特徵圖個數，p、q分別為特徵圖的寬高。在cnn中我們可以把每個特徵圖看成是一個特徵處理（一個神經元），因此在使用Batch Normalization，mini-batch size 的大小就是：m*p*q，於是對於每個特徵圖都只有一對可學習引數：γ、β。說白了吧，這就是相當於求取所有樣本所對應的一個特徵圖的所有神經元的平均值、方差，然後對這個特徵圖神經元做歸一化。下面是來自於keras卷積層的BN實現一小段主要原始碼：

input_shape = self.input_shape  
reduction_axes = list(range(len(input_shape)))  
del reduction_axes[self.axis]  
broadcast_shape = [1] * len(input_shape)  
broadcast_shape[self.axis] = input_shape[self.axis]  
if train:  
     m = K.mean(X, axis=reduction_axes)  
     brodcast_m = K.reshape(m, broadcast_shape)  
     std = K.mean(K.square(X - brodcast_m) + self.epsilon, axis=reduction_axes)  
     std = K.sqrt(std)  
     brodcast_std = K.reshape(std, broadcast_shape)  
     mean_update = self.momentum * self.running_mean + (1-self.momentum) * m  
     std_update = self.momentum * self.running_std + (1-self.momentum) * std  
     self.updates = [(self.running_mean, mean_update),  
                     (self.running_std, std_update)]  
     X_normed = (X - brodcast_m) / (brodcast_std + self.epsilon)  
else:  
     brodcast_m = K.reshape(self.running_mean, broadcast_shape)  
     brodcast_std = K.reshape(self.running_std, broadcast_shape)  
     X_normed = ((X - brodcast_m) /  
                 (brodcast_std + self.epsilon))  
out = K.reshape(self.gamma, broadcast_shape) * X_normed + K.reshape(self.beta, broadcast_shape)  

　　個人總結：2015年個人最喜歡深度學習的一篇paper就是Batch Normalization這篇文獻，採用這個方法網路的訓練速度快到驚人啊，感覺訓練速度是以前的十倍以上，再也不用擔心自己這破電腦每次執行一下，訓練一下都要跑個兩三天的時間。另外這篇文獻跟空間變換網路《Spatial Transformer Networks》的思想神似啊，都是一個變換網路層。

參考文獻：

1、《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

2、《Spatial Transformer Networks》

3、https://github.com/fchollet/keras