1. 程式人生 > >為什麼沿著梯度方向函式值上升的最快?

為什麼沿著梯度方向函式值上升的最快?

一元函式的變化快慢可以用導數來判斷,其定義為:

limΔx0f(x+Δx)f(x)Δx=f(x)f(x+Δx)=f(x)+f(x)Δx+ο(x)
可以看出來,f(x)越大,則函式變化越快。

對於多元函式其實也是類似的

limΔx0Δy0f(x+Δx,y+Δy)f(x,y)(Δx)2+(Δy)2=limΔx0Δy0f(x+Δx,y+Δy)f(x,y+Δy)+f(x,y+Δy)f(x,y)(Δx)2+(Δy)2=limΔx0Δy0f(x)Δx(Δx)2+(Δy)2+f(y)Δy(Δx)
2
+(Δy)2
=f(x)cosα+f(y)cosβ

其中gradf=(f(x),f(y)),而f(x)cosα+f(y)cosβ 即為方向導數。同一元函式一樣,要想f(x,y)變化最大,就要使方向導數取到最大值。

  1. 方向導數=梯度與一個單位向量的點積
  2. a⃗ b⃗ =|a|×|b|×cos(a⃗ ,b⃗ ),可知當cos(a⃗ ,b⃗ )=1時,方向導數取最大值。此時,ab兩個向量同向,即梯度方向和單位向量方向一致,故在梯度方向取最大值。

知道方向導數在梯度方向取最大值,則在梯度方向f(x,y)變化最快。這裡又分為,沿著梯度方向函式值上升的最快,沿著負梯度方向函式值下降的最快。這兩個分別對應著方向導數的最大值的正負。在上面第二條裡還存在另外一個解,即a,b兩個向量反向,即梯度方向和單位向量方向相反,故在負梯度方向取最小值(也是負數)。所以在沿著負梯度方向函式值下降的最快。