1. 程式人生 > >梯度下降的一階泰勒公式展開證明

梯度下降的一階泰勒公式展開證明

在確定損失函式後,通過梯度下降優化演算法來估計模型的未知引數: 為何 根據一階泰勒展開,對於一個可微函式,對於任意的x,有:
f(x+\alpha p)=f(x)+\alpha * g(x)*p+o(\alpha *\left| p \right|),其中g(x)是梯度,如果一維情況就是一階導數。

而其中g(x)*p = \left| g(x) \right| *\left| p \right| *cos\theta, \theta是兩向量之間的夾角。

\theta為180度得時候,g(x)*p可取到最小值,即為下降最快的方向。所以,負梯度方向為函式f(x)下降最快的方向,x為未知引數,
對X進行迭代更新
如果f(x)是凸函式,則區域性最優解就是全域性最優解。