轉載自  為什麼梯度反方向是函式下降最快的方向

為什麼梯度反方向是函式下降最快的方向？

剛接觸梯度下降這個概念的時候，是在學習機器學習演算法的時候，很多訓練演算法用的就是梯度下降，然後資料和老師們也說朝著梯度的反方向變動，函式值下降最快，但是究其原因的時候，很多人都表達不清楚。所以我整理出自己的理解，從方向導數這個角度把這個結論證明出來，讓我們知其然也知其所以然~

下面我一開始不提梯度的概念，完全根據自己的理解進行下文的梳理，一步一步推出梯度的來歷：

• 導數

導數的幾何意義可能很多人都比較熟悉: 當函式定義域和取值都在實數域中的時候，導數可以表示函式曲線上的切線斜率。 除了切線的斜率，導數還表示函式在該點的變化率

將上面的公式轉化為下面影象為：

（來自維基百科）

直白的來說，導數代表了在自變數變化趨於無窮小的時候，函式值的變化與自變數變化的比值代表了導數，幾何意義有該點的切線。物理意義有該時刻的（瞬時）變化率...

注意在一元函式中，只有一個自變數變動，也就是說只存在一個方向的變化率，這也就是為什麼一元函式沒有偏導數的原因。

• 偏導數

既然談到偏導數，那就至少涉及到兩個自變數，以兩個自變數為例，z=f(x,y) . 從導數到偏導數，也就是從曲線來到了曲面. 曲線上的一點，其切線只有一條。但是曲面的一點，切線有無數條。

而我們所說的偏導數就是指的是多元函式沿座標軸的變化率.

指的是函式在y方向不變，函式值沿著x軸方向的變化率

指的是函式在x方向不變，函式值沿著y軸方向的變化率

對應的影象形象表達如下：

那麼偏導數對應的幾何意義是是什麼呢？

• 偏導數就是曲面被平面所截得的曲面在點處的切線對x軸的斜率

• 偏導數就是曲面被平面所截得的曲面在點處的切線對y軸的斜率

可能到這裡，讀者就已經發現偏導數的侷限性了，原來我們學到的偏導數指的是多元函式沿座標軸的變化率，但是我們往往很多時候要考慮多元函式沿任意方向的變化率，那麼就引出了方向導數.

• 方向導數

終於引出我們的重頭戲了，方向導數，下面我們慢慢來走進它

假設你站在山坡上，相知道山坡的坡度（傾斜度）

山坡圖如下：

假設山坡表示為,你應該已經會做主要倆個方向的斜率.

y方向的斜率可以對y偏微分得到.

同樣的，x方向的斜率也可以對x偏微分得到

那麼我們可以使用這倆個偏微分來求出任何方向的斜率（類似於一個平面的所有向量可以用倆個基向量來表示一樣）

現在我們有這個需求，想求出u方向的斜率怎麼辦.假設為一個曲面，為定義域中一個點，單位向量的斜率，其中是此向量與x軸正向夾角.單位向量u可以表示對任何方向導數的方向.如下圖：

那麼我們來考慮如何求出u方向的斜率，可以類比於前面導數定義，得出如下：

設為一個二元函式，為一個單位向量，如果下列的極限值存在

此方向導數記為

則稱這個極限值是沿著u方向的方向導數，那麼隨著的不同，我們可以求出任意方向的方向導數.這也表明了方向導數的用處，是為了給我們考慮函式對任意方向的變化率.

在求方向導數的時候，除了用上面的定義法求之外，我們還可以用偏微分來簡化我們的計算.

表示式是：（至於為什麼成立，很多資料有，不是這裡討論的重點）

那麼一個平面上無數個方向，函式沿哪個方向變化率最大呢？

目前我不管梯度的事，我先把表示式寫出來：

設,

那麼我們可以得到：

(α為向量與向量之間的夾角)

那麼此時如果要取得最大值，也就是當為0度的時候，也就是向量I（這個方向是一直在變，在尋找一個函式變化最快的方向）與向量A（這個方向當點固定下來的時候，它就是固定的）平行的時候，方向導數最大.方向導數最大，也就是單位步伐，函式值朝這個反向變化最快.

好了，現在我們已經找到函式值下降最快的方向了，這個方向就是和向量相同的方向.那麼此時我把A向量命名為梯度（當一個點確定後，梯度方向是確定的），也就是說明了為什麼梯度方向是函式變化率最大的方向了！！！（因為本來就是把這個函式變化最大的方向命名為梯度）