編譯 | 阿司匹林

AI科技大本營按：近日，FAIR 團隊的吳育昕和何愷明提出了組歸一化（Group Normalization，簡稱 GN）的方法。其中，GN 將訊號通道分成一個個組別，並在每個組別內計算歸一化的均值和方差，以進行歸一化處理。此外，GN 的計算與批量大小無關，而且在批次大小大幅變化時，精度依然穩定。實驗結果證明，GN 在多個任務中的表現均優於基於 BN 的同類演算法，這表明 GN 能夠在一系列任務中有效地替代 BN。

以下內容來自 Group Normalization 論文，AI科技大本營翻譯：

批歸一化（Batch Normalization，簡稱 BN ）是深度學習發展中的一項里程碑技術，它讓各種網路都能夠進行訓練。然而，沿著批次維度的歸一化也帶來了新問題：當統計不準確導致批次的大小越來越小時，BN 的錯誤會急劇增加。在訓練更大的網路，以及執行將特徵遷移至包括探測、分割、視訊在內的計算機視覺任務時，BN 的使用就受到了限制，因為它們受限於記憶體消耗而只能使用小批次。

在該論文中，我們提出了一種簡單的組歸一化的方法。GN 將訊號通道分成一個個組別，並在每個組別內計算歸一化的均值和方差，以進行歸一化處理。GN 的計算與批量大小無關，而且在批次大小大幅變化時，精度依然穩定。例如在 ImageNet 上訓練的 ResNet-50 ，當批次大小為 2 時，GN 的誤差比 BN 低 10.6 %；當使用典型的批次大小時，GN 與 BN 的表現相當，並且優於其他歸一化變體。此外，GN 可以自然地從預訓練遷移到微調階段。在 COCO 的目標檢測和 Kinetics 的視訊分類任務中，GN 的表現均優於基於 BN 的同類演算法，這表明 GN 能夠在一系列任務中有效地替代 BN。重要的是，只需幾行程式碼，就可以在現代庫中實現 GN。

圖1：ImageNet 分類誤差與批次大小的關係。這是在 ImageNet 訓練集中使用 8 塊 GPU 訓練的 ResNet-50 模型，並在驗證集上進行了評估。

▌組歸一化

視覺表徵的通道並不是完全獨立的。SIFT、HOG 和 GIST 的經典特徵是符合分組特徵的，其中每組通道由某種直方圖（histogram）構成。這些特徵通常通過在每個直方圖或每個方向上執行分組歸一化來處理。諸如 VLAD 和 Fisher Vectors (FV)  等高階特徵也是分組特徵，其中每一組可以被認為是關於叢集計算的子向量。

類似地，我們不需要將深層神經網路特徵視為非結構化向量。例如，對於網路的第一個卷基層 conv1 ，我們可以預期，濾波器（filter）及其水平翻轉在自然影象上呈現類似的濾波器響應分佈是合理的。如果 conv1 碰巧近似地學習到這對濾波器，或者通過將水平翻轉設計到架構中，則這些濾波器的相應通道可以一起歸一化。

神經網路中的更高層級更加抽象，它們的行為也不那麼直觀。然而，除了方向之外，還有許多因素可以導致分組，例如頻率、形狀、照明、紋理等，它們的係數可以是相互依賴的。事實上，神經科學中一個廣為接受的計算模型就是對細胞反應進行歸一化，“具有各種感受野（receptive-field）中心（覆蓋視野）和各種時空頻率調諧”，這不僅可以發生在初級視覺皮層，而且可以發生在“整個視覺系統”中。受此啟發，我們提出了一種新的深度神經網路的泛組歸一化（generic group-wise normalization）方法。

圖2：歸一化方法。每個子圖顯示一個特徵圖張量，其中 N 為批處理軸，C 為通道軸，( H; w )為空間軸。通過計算這些藍色畫素的和，它們被相同的平均值和方差歸一化。

組歸一化公式：

只需要幾行代買，GN 就可以在 iPyTorch 和 TensorFlow 實現。

▌實驗

1. 對 ImageNet 資料集進行影象分類

圖4：批次大小為 32 幅影象/GPU 時的誤差曲線。上圖展示了 ImageNet 訓練誤差（左）和驗證誤差（右）與訓練週期的關係。模型為 ResNet-50。

圖5：對批次大小的敏感度：ResNet-50 對 BN （左）和 GN（右）的驗證誤差，分別使用 32、16、8、4 和 2 幅影象/GPU 進行訓練。

表1：ImageNet 驗證集中 ResNet-50 的誤差（%）的比較，使用大小為 32 幅影象/GPU 的批次進行訓練。誤差曲線如圖4所示。

表2：對批次大小的敏感度。該表展示了 ResNet-50 在 ImageNet 中的驗證誤差（%）。最後一行顯示了 BN 和 GN 之間的差異。誤差曲線如圖 5 所示。

圖6：VGG-16  中 conv5_3（5_3 為下標）輸出（在歸一化和 ReLU 之前）的特徵分佈的演變。右側的表顯示了 ImageNet 的驗證誤差（%）。模型使用 32 幅影象/ GPU 進行訓練。

表3：組劃分。該表展示了 ResNet-50 在 ImageNet 中的驗證誤差（%），該模型使用 32 幅影象/GPU 進行訓練。（上）：給定數量的組。（xia）：每組給定數量的通道。每張表的最後一行顯示了最佳結果之間的差異。

2. 對 COCO 資料集進行目標檢測和分割

表4：使用 Mask R-CNN（ResNet-50 C4）在 COCO 中的檢測和分割結果。BN* 表示 BN 被凍結。

表5：使用 Mask R-CNN（ ResNet-50 FPN 和 4conv1fc 邊界框）在 COCO 中的檢測和分割結果。 BN* 表示 BN 被凍結。

3. 對 Kinetics 資料集進行視訊分類

圖7：Kinetics資料集中，輸入長度為 32 幀的誤差曲線。上圖顯示了 ResNet-50 I3D 對 BN（左）和 GN（右）的驗證誤差。

表6： 對 Kinetics 的視訊分類結果：ResNe-50 I3D 基線的 top-1/top-5 精度( % )。

▌討論以及未來的工作

我們證明了 GN 可以作為一個有效的歸一化層，而不需要利用批量維度。我們已經評估了 GN 在各種應用中的表現。然而，我們也注意到，BN 的影響力如此之大，以至於許多最先進的系統及其超引數都是為它設計的，這寫對於基於 GN 的模型來說可能不是最佳的。因此，針對 GN 重新設計系統或者尋找新的超引數，可能會得到更好的結果。

此外，我們已經證明 GN 與 LN 和 IN 是相關聯的，這兩種歸一化方法在訓練 RNN/LSTM 等遞迴模型或者 GAN 等生成模型方面特別成功。這也提示我們今後應在這些領域進行 GN 的研究。未來，我們還將測試 GN 在強化學習任務中學習表徵方面的表現。

論文連結：https://arxiv.org/abs/1803.08494

2018年3月30-31日，第二屆中國區塊鏈技術暨應用大會將於北京喜來登長城飯店盛大開場，50+區塊鏈技術領導人物，100+區塊鏈投資商業大咖，100+技術&財經媒體，1000+區塊鏈技術愛好者，強強聯合，共同探討最in區塊鏈技術，豪華乾貨禮包享不停。八折門票火熱搶購中！2018，未來已來，帶你玩轉區塊鏈。

AI科技大本營使用者群（計算機視覺、機器學習、深度學習、NLP、Python、AI硬體、AI+金融、AI+PM方向）正在招募中，後臺回覆：讀者群，聯絡營長，新增營長請備註姓名，研究方向。