論文首先提出了神經網路訓練的一個不好的現象：batch size的增大到一定程度，ResNet的分類準確率會下降。這個現象推翻了我以前的一個直覺：覺得batch size大，訓練的效果會更好。

為了加快訓練的速度（增大batch size）同時保證準確率，論文提出了一個trick：讓學習率lr隨著batch size線性增大（Linear Scaling Rule），使得訓練時的batch size在[64(2^6), 8192(2^13)]的區間範圍變化時可以得到了幾乎不變的準確率。

上述linear scaling rule是基於一個很強的假設：單個mini-batch內的各樣本的梯度相同。在訓練的開始階段，梯度差異大，假設完全不成立，因此論文提出了gradual warmup機制。gradual warmup在訓練的5個epoch使用0.1的學習率（對應batch size=256時的學習率），然後慢慢提高增加到linear scaling rule對應的學習率。