10.2 常見的Normalization方法(BN、LN、IN、GN)
阿新 • • 發佈：2020-10-09
一、為什麼要Normalization?
二、常見的Normalization方法(BN、LN、IN、GN)
這節課我們來學習常見的Normalization方法(BN、LN、IN、GN)。
一、為什麼要Normalization?
其實這個問題在BN的論文中已經給了答案了，就是因為在深度學習中，出現一個ICS的問題。資料尺度/分佈的異常，導致模型訓練困難。
二、常見的Normalization方法(BN、LN、IN、GN)
這四種Normalization，相同的地方是，都要進行歸一化，即加減乘除操作。那他們的不同點在哪裡？因為beta和gamma都是超引數，所以不同的地方在於均值和方差的求取方式。
LN : 是在網路層裡面找均值和方差。
IN：例項，就是一張圖片。主要針對影象生成使用。
GN：分組。
1. Layer Normalization
BN不適用於變長的網路，比如RNN。比如右邊的圖。
