梯度的方向總是函式值越來越大的方向，如果是求極大值，沿著梯度的方向迭代介面；如果是求極小值，沿著梯度相反的方向迭代即可，即梯度下降法。

梯度下降法（梯度上升法應該也適用）迭代結束的條件，常用的有兩種：

一、定義一個合理的閾值，當兩次迭代之間的差值小於該閾值時，迭代結束。

二、設定一個大概的迭代步數，比如1000或500，梯度下降法最終的迭代肯定會收斂，只要達到相應迭代次數，多了也沒關係。因為迭代次數多了後，在

到達極值點時，函式對變數的導數已近乎為0，即使過了極值點，導數就變為正數了，之前的導數為負數。這個時候，變數x的值減去步長與導數的乘

積反倒變小了。所以即使步數多了，結果也基本上就在極值點處左右徘徊，幾乎等於極值點，因此沒有問題。
--------------------- 
作者：hyg1985 
來源：CSDN 
原文：https://blog.csdn.net/hyg1985/article/details/42556847 
版權宣告：本文為博主原創文章，轉載請附上博文連結！