本文中關於Online/Batch learning的觀點大多總結自lecun98年的論文：Efficient BackProp，關於Mini-Batch learning的觀點大多總結自BatchNorm論文，詳情請參考原論文。翻譯總結中如有疏漏，歡迎指教。

先放最後結論：

筆者總結的batch size選取策略如下：

1. 考慮記憶體/視訊記憶體/計算資源限制，得到被允許的最大值，選取的batch size不能大於最大值。
2. 考慮資料集的平衡性，儘量使得batch中包含各個類別的樣本。
3. 通過loss/metric變化曲線觀察收斂穩定性，極度不穩定的情況可以增加batch size或者減小學習率；過於穩定的情況可以考慮減少batch size。
4. 收斂末期，可以考慮逐漸增加batch size，以及逐漸減小learning rate，使得學習結果更接近區域性最小值。
5. batch size通常在log scale中調節，常見4的倍數筆者猜測是為了更高效的CUDA計算。

以下是正文：

神經網路通常基於梯度進行訓練（gradient descent: W=W−η∂L∂W$W=W-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }W}$），不同的梯度值估計策略（不同的取樣數）就對應了不同的學習策略：

• Batch Learning: 使用整個訓練集計算梯度值
• Online/Stochastic Learning: 使用單個樣本估計梯度值
• Mini-Batch Learning: 使用部分樣本估計梯度值，並定義樣本數為batch size

lecun98的論文中探討了Batch Learning 和 Online Learning的優缺點，總結如下 :

Online Learning的優點有：

1. much faster than batch learning：基於資料集大且冗餘的假設，即資料集中相似模態往往多次出現（clusters of patterns that are very similar），online learning可以在一個epoch內對其多次學習，而batch learning只能學習一次。（筆者直覺上認為online learning快速的另一個原因是：權重初始狀態距離最小值很遠，絕大多數樣本的權重更新方向相近，少量樣本即足以得到差不多的梯度估計，即質量相近的情況下節約了時間，很適合於前期搜尋）
2. often results in better solutions：Batch Learning的梯度值計算是穩定且唯一的，權重會嚴格按照損失函式下降最快的方向前進，從而相同的初始化權重必定收斂於相同的區域性最小值。而online learning估計梯度值的過程存在噪音（樣本數少），此噪音使得權重不嚴格按照損失函式值下降的方向前進，從而使得權重有機會跳出當前權重所在的basin（定義會收斂到同一區域性最小值的權重值位於同一basin），增加了權重搜尋空間，最終使得網路有可能收斂到更深的區域性最小值。
3. can be used for tracking changes

Batch Learning的優點更多是理論上的，而非實際應用相關的：

1. conditions of convergence are well understood
2. Many acceleration techniques (e.g. conjugate gradient) only operate in batch learning.
3. Theoretical analysis of the weight dynamics and convergence rates are simpler.

關於batch learning的優點討論中提及了online learning梯度值估計過程中噪音的缺點：此噪音使得online learning無法完全的收斂於區域性最小值（而是在附近震盪），震盪幅度與學習率成比例。從而建議在收斂末期，通過降低學習率或者增加batch size的方式減弱其負面影響。

由上可知，online learning與batch learning各有優劣，Mini-Batch Learning是兩者的折衷，是最常用的神經網路學習策略，BatchNorm論文中總結Mini-Batch Learning的優點如下：

1. Quality of estimation improves as the batch size increases：梯度值估計質量隨batch size增加而增加。
2. Computation over a batch can be much more efficient than m$m$ computations for individual examples, due to the parallelism afforded by the modern computing platforms：現代平行計算技術使得多樣本共同計算更有效率。

總結上文中關於batch size選取的資訊如下：

1. 梯度值預估的噪聲隨batch size增加而減小，減少而增大。
2. 梯度預估的噪音既有優點，也有缺點：
   
   • 優點1：增大權重搜尋空間，使得權重得以跳出初始化權重所在basin，搜尋其他可能的區域性最小值。
   • 優點2：噪音使得權重不會完美地收斂於區域性最小值，一定程度上減小了過擬合的風險[3]。
   • 缺點1：不完美收斂於區域性最小值，增加了欠擬合的風險。

筆者總結的batch size選取策略如下：

1. 考慮記憶體/視訊記憶體/計算資源限制，得到被允許的最大值，選取的batch size不能大於最大值。
2. 考慮資料集的平衡性，儘量使得batch中包含各個類別的樣本。
3. 通過loss/metric變化曲線觀察收斂穩定性，極度不穩定的情況可以增加batch size或者減小學習率；過於穩定的情況可以考慮減少batch size。
4. 收斂末期，可以考慮逐漸增加batch size，以及逐漸減小learning rate，使得學習結果更接近區域性最小值。
5. batch size通常在log scale中調節，常見4的倍數筆者猜測是為了更高效的CUDA計算。

參考資料：
[1] LeCun, Yann A., et al. “Efficient backprop.” Neural networks: Tricks of the trade. Springer, Berlin, Heidelberg, 2012. 9-48.
[2] Ioffe, Sergey, and Christian Szegedy. “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.” ICML. 2015.
[3] Keskar, Nitish Shirish, et al. “On large-batch training for deep learning: Generalization gap and sharp minima.” arXiv preprint arXiv:1609.04836 (2016).