SGD

$w=w-lr\ast \mathrm{\partial }w$

sgd_momentum

$v=mu*v-lr*\partial w$
$w = w + v$
其中 $mu \in [0,1]$是momentum，一般 $mu=0.9$, $v$是中間變數,令 $w$更新更加平緩
後續改進的思路是不同引數自適應的採用不同的學習速率，比如利用對於前一次變化較大的引數降低起學習速率，保持學習的平滑

rmsprop

$cache = decay * cache + (1-decay) * (\partial w)^2$
$w = w - lr * \frac{\partial w}{\sqrt{cache}+\epsilon}$
其中
$decay \in [0,1]$ 一般取值0.99
$cache$記錄 $\partial w$幅度平方值，幅度變化大的引數降低學習速率，令 $w$更新平緩。
隨著訓練進度， $cache$的值逐漸變大，導致實際 $lr$逐漸降低，學習速率越來越慢，這是一個缺陷。

adam

$m=\beta_1 * m + (1-\beta_1) * \partial w$
$m_t = \frac{m}{1-\beta_1^t}$
$v=\beta_2*v + (1-\beta_2)*(\partial w)^2$
$v_t = \frac{v}{1-\beta_2^t}$
$w = w - lr * \frac{m_t}{\sqrt{v_t}+\epsilon}$
其中
$t$是訓練進度，比如更新次數，或epoch
$\beta_1 \in [0,1]$ 一般取值0.9
$\beta_2 \in [0,1]$ 一般取值0.999
$m$和 $v$分別是平滑後的 $\partial w$和 $(\partial w)^2$
$m_t$和 $v_t$避免訓練啟動階段訓練速度太慢(因為 $m$和 $v$初始化都是0，訓練最開始的一段時間二者都接近0)