Batch Normalization，批規範化

BatchNormalization（簡稱為BN）[2]，中文翻譯成批規範化，是在深度學習中普遍使用的一種技術，通常用於解決多層神經網路中間層的協方差偏移(Internal Covariate Shift)問題，類似於網路輸入進行零均值化和方差歸一化的操作，不過是在中間層的輸入中操作而已，具體原理不累述了，見[2-4]的描述即可。

在BN操作中，最重要的無非是這四個式子：

• $\gamma ,\beta$：分別是仿射中的$\mathrm{w}\mathrm{e}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}$和$\mathrm{b}\mathrm{i}\mathrm{a}\mathrm{s}$，在pytorch中用weight和bias表示。
• $\mu$和σB2：和上面的引數不同，這兩個是根據輸入的batch的統計特性計算的，嚴格來說不算是“學習”到的引數，不過對於整個計算是很重要的。在pytorch中，這兩個統計引數，用running_mean和running_var
  表示[5]，這裡的running指的就是當前的統計引數不一定只是由當前輸入的batch決定，還可能和歷史輸入的batch有關，詳情見以下的討論，特別是引數momentum那部分。

Update 2020/3/16:
因為BN層的考核，在工作面試中實在是太常見了，在本文順帶補充下BN層的引數的具體shape大小。
以圖片輸入作為例子，在pytorch中即是nn.BatchNorm2d()，我們實際中的BN層一般是對於通道進行的，舉個例子而言，我們現在的輸入特徵（可以視為之前討論的batch中的其中一個樣本的shape）為x∈RC×W×H\mathbf{x} \in \mathbb{R}^{C \times W \times H}

有些朋友可能會認為這裡的weight應該是一個張量，而不應該是一個向量，其實不是的，這裡的weight其實應該看成是對輸入特徵圖的每個通道得到的歸一化後的xˆ\hat{\mathbf{x}}x^進行尺度放縮的結果，因此對於一個通道數為$C$的輸入特徵圖，那麼每個通道都需要一個尺度放縮因子，同理，bias也是對於每個通道而言的。這裡切勿認為yi←γxˆi+βy_i \leftarrow \gamma \hat{x}_i+\betayi←γx^i+β這一步是一個全連線層，他其實只是一個尺度放縮而已。關於這些引數的形狀，其實可以直接從pytorch原始碼看出，這裡截取了_NormBase層的部分初始程式碼，便可一見端倪。

在Pytorch中使用

Pytorch中的BatchNorm的API主要有：

一般來說pytorch中的模型都是繼承nn.Module類的，都有一個屬性trainning指定是否是訓練狀態，訓練狀態與否將會影響到某些層的引數是否是固定的，比如BN層或者Dropout層。通常用model.train()指定當前模型model為訓練狀態,model.eval()指定當前模型為測試狀態。
同時，BN的API中有幾個引數需要比較關心的，一個是affine指定是否需要仿射，還有個是track_running_stats指定是否跟蹤當前batch的統計特性。容易出現問題也正好是這三個引數：trainning，affine，track_running_stats。

• 其中的affine指定是否需要仿射，也就是是否需要上面算式的第四個，如果affine=False，則$\gamma =1,\beta =0$，並且不能學習被更新。一般都會設定成affine=True[10]
• trainning和track_running_stats，track_running_stats=True表示跟蹤整個訓練過程中的batch的統計特性，得到方差和均值，而不只是僅僅依賴與當前輸入的batch的統計特性。相反的，如果track_running_stats=False那麼就只是計算當前輸入的batch的統計特性中的均值和方差了。當在推理階段的時候，如果track_running_stats=False，此時如果batch_size比較小，那麼其統計特性就會和全域性統計特性有著較大偏差，可能導致糟糕的效果。

一般來說，trainning和track_running_stats有四種組合[7]

1. trainning=True,track_running_stats=True。這個是期望中的訓練階段的設定，此時BN將會跟蹤整個訓練過程中batch的統計特性。
2. trainning=True,track_running_stats=False。此時BN只會計算當前輸入的訓練batch的統計特性，可能沒法很好地描述全域性的資料統計特性。
3. trainning=False,track_running_stats=True。這個是期望中的測試階段的設定，此時BN會用之前訓練好的模型中的（假設已經儲存下了）running_mean和running_var並且不會對其進行更新。一般來說，只需要設定model.eval()其中model中含有BN層，即可實現這個功能。[6,8]
4. trainning=False,track_running_stats=False效果同(2)，只不過是位於測試狀態，這個一般不採用，這個只是用測試輸入的batch的統計特性，容易造成統計特性的偏移，導致糟糕效果。

同時，我們要注意到，BN層中的running_mean和running_var的更新是在forward()操作中進行的，而不是optimizer.step()中進行的，因此如果處於訓練狀態，就算你不進行手動step()，BN的統計特性也會變化的。如

這個時候要將model.eval()轉到測試階段，才能固定住running_mean和running_var。有時候如果是先預訓練模型然後載入模型，重新跑測試的時候結果不同，有一點效能上的損失，這個時候十有八九是trainning和track_running_stats設定的不對，這裡需要多注意。 [8]

假設一個場景，如下圖所示：

Update 2020/3/17:
評論區的Oshrin朋友提出問題

作者您好，寫的很好，但是是否存在問題。即使將track_running_stats設定為False，如果momentum不為None的話，還是會用滑動平均來計算running_mean和running_var的，而非是僅僅使用本batch的資料情況。而且關於凍結bn層，有一些更好的方法。

這裡的momentum的作用，按照文件，這個引數是在對統計引數進行更新過程中，進行指數平滑使用的，比如統計引數的更新策略將會變成：

其中的更新後的統計引數xˆnew\hat{x}_{\mathrm{new}}x^new，是根據當前觀察xtx_txt和歷史觀察xˆ\hat{x}x^進行加權平均得到的（差分的加權平均相當於歷史序列的指數平滑），預設的momentum=0.1。然而跟蹤歷史資訊並且更新的這個行為是基於track_running_stats為true並且training=true的情況同時成立的時候，才會進行的，當在track_running_stats=true, training=false時(在預設的model.eval()情況下，即是之前談到的四種組合的第三個，既滿足這種情況)，將不涉及到統計引數的指數滑動更新了。[12,13]

這裡引用一個不錯的BN層凍結的例子，如：[14]

總結來說，在某些情況下，即便整體的模型處於model.train()的狀態，但是某些BN層也可能需要按照需求設定為model_bn.eval()的狀態。

Update 2020.6.19:
評論區有個同學問了一個問題:

K.G.lee:想問博主，為什麼模型測試時的引數為trainning=False, track_running_stats=True啊？？測試不是用訓練時的滑動平均值嗎？為什麼track_running_stats=True呢？為啥要跟蹤當前batch？？

我感覺這個問題問得挺好的，我們需要去翻下原始碼[15]，我們發現我們所有的BatchNorm層都有個共同的父類_BatchNorm，我們最需要關注的是return F.batch_norm()這一段，我們發現，其對training的判斷邏輯是

Reference

[1].用pytorch踩過的坑
[2]. Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]// International Conference on International Conference on Machine Learning. JMLR.org, 2015:448-456.
[3].<深度學習優化策略-1>Batch Normalization（BN）
[4].詳解深度學習中的Normalization，BN/LN/WN
[5]. https://github.com/pytorch/pytorch/blob/master/torch/nn/modules/batchnorm.py#L23-L24
[6]. https://discuss.pytorch.org/t/what-is-the-running-mean-of-batchnorm-if-gradients-are-accumulated/18870
[7].BatchNorm2d增加的引數track_running_stats如何理解？
[8].Why track_running_stats is not set to False during eval
[9].How to train with frozen BatchNorm?
[10].Proper way of fixing batchnorm layers during training
[11].大白話《Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift》
[12]. https://discuss.pytorch.org/t/what-does-model-eval-do-for-batchnorm-layer/7146/2
[13]. https://zhuanlan.zhihu.com/p/65439075
[14]. https://github.com/NVIDIA/apex/issues/122
[15]. https://pytorch.org/docs/stable/_modules/torch/nn/modules/batchnorm.html#BatchNorm2d
[16]. https://pytorch.org/docs/stable/_modules/torch/nn/functional.html#batch_norm

<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">