Introduction

目的：
快速 有效 地 擬合 。

手段：
隨機批處理、學習率、批規範化、模型優化演算法、遷移學習。

隨機批處理

隨機批處理，mini-batch，一種 在模型每輪 (epoch) 訓練進行前將訓練資料集隨機打亂 (shuffle) 的 訓練機制。

可以防止 被模型猜到 “出樣本順序” 。

作用：
防 過擬合 。

合理的學習率

學習率，learning rate，控制模型的 學習進度 。

在訓練過程中，根據訓練輪數，合理設定動態變化的學習率：

• 剛開始訓練時：學習率以 0.01 ~ 0.001 為宜。
• 一定輪數過後：逐漸減緩。
• 接近訓練結束：學習速率的衰減應該在100倍以上。

Note：
如果是 遷移學習 ，由於模型已在原始資料上收斂，此時應設定較小學習率 (≤10−4$\le {10}^{-4}$) 在新資料上進行 微調 。

作用：
防止 欠擬合/過擬合/擬合慢 。

批規範化

批規範化，batch normalization，即著名的BN操作。
對應網路模型中的 BN層 ,一般置於 啟用函式 之後，池化層 之前 。

計算批處理資料的 均值 和 方差，據此對該批資料做 規範化 ，並進行 縮放 和 平移 。

作用：

• 縮小輸入空間，從而降低調參難度；

• 防止梯度爆炸/消失，從而加速網路收斂。

影響：

• 該質優價廉的設計目前幾乎成了CNN標配。

模型優化演算法

優化演算法 型別 包括 一階優化法 和 二階優化法。

一階優化法較為常見，包括：
隨機梯度下降法、基於動量的隨機梯度下降法、Nesterov型動量隨機下降法、Adagrad法、Adadelta法、RMSProp法、Adam法。

遷移學習

在已經預訓練好的模型上進行 微調 。

優勢：

• 高效快捷。

目前，大部分的模型訓練都是 遷移學習 ，已經很少有人從頭開始新訓練一個模型了。