【機器學習數學】梯度下降法
阿新 • • 發佈：2021-10-07
本文介紹梯度下降演算法
梯度下降法（gradient descent）/ 最速下降法（steepest descent）求解無約束最優化問題：
其中f(x)是R^n上具有一階連續偏導數的函式，表示目標函式f(x)的極小點。
梯度下降法：
輸入：目標函式f(x)，梯度函式，計算精度e；
輸出：f(x)的極小值點
（1）取初始值，置k = 0
（2）計算
（3）計算梯度，當 時，停止迭代， 令；否則，令，求，使
（4）置，計算
當或時，停止迭代。令。
（5）否則，置k = k + 1，轉（3）
當目標函式時凸函式時， 梯度下降法的解是全域性最優解。一般情況下，其解不保證為全域性最優解。梯度下降法收斂速度也未必是最快的。