深度學習優化算法Momentum RMSprop Adam
阿新 • • 發佈：2018-01-06
blog beta rop isp prop moment mom down pro
\[ s_{db}=\beta_{2} s_{db}+(1-\beta_{2})db^2 \]
\[ db=b-\alpha \frac{v_{db}^{correct}}{\sqrt{s_{db}^{correct}}+e} \]
一、Momentum
1. 計算dw、db.
2. 定義v_db、v_dw
\[
v_{dw}=\beta v_{dw}+(1-\beta)dw
\]
\[
v_{db}=\beta v_{db}+(1-\beta)db
\]
3. 更新dw、db
\[
dw=w-\alpha v_{dw}
\]
\[
db=b-\alpha v_{db}
\]
二、RMSprop
1. 計算dw、db.
2. 定義s_db、s_dw (這裏的平方是元素級的)
\[
s_{dw}=\beta s_{dw}+(1-\beta)dw^2
\]
\[
s_{db}=\beta s_{db}+(1-\beta)db^2
\]
3. 更新dw、db
\[
dw=w-\alpha \frac{w}{\sqrt{s_{dw}}}
\]
\[
db=b-\alpha \frac{b}{\sqrt{s_{db}}}
\]
三、Adam
==結合了Momentum+RMSprop==
1. 計算dw、db.
2. 定義v_db、v_dw、s_db、s_dw.
\[
v_{dw}=\beta_{1} v_{dw}+(1-\beta_{1})dw
\]
\[
v_{db}=\beta_{1} v_{db}+(1-\beta_{1})db
\]
\[
s_{dw}=\beta_{2} s_{dw}+(1-\beta_{2})dw^2
\]
\[ s_{db}=\beta_{2} s_{db}+(1-\beta_{2})db^2 \]
3. 糾偏(t為叠代次數)
\[
v_{dw}^{correct}=\frac{v_{dw}}{1-\beta^t}
\]
\[
v_{db}^{correct}=\frac{v_{db}}{1-\beta^t}
\]
\[
s_{dw}^{correct}=\frac{s_{dw}}{1-\beta^t}
\]
\[
s_{db}^{correct}=\frac{s_{db}}{1-\beta^t}
\]
4. 更新dw、db，e為很小的數，防止分母為0。
通常（e=10^-8）
\[ dw=w-\alpha \frac{v_{dw}^{correct}}{\sqrt{s_{dw}^{correct}}+e} \]
\[ db=b-\alpha \frac{v_{db}^{correct}}{\sqrt{s_{db}^{correct}}+e} \]
深度學習優化算法Momentum RMSprop Adam