深入淺出--梯度下降法及其實現
- 梯度下降的場景假設
- 梯度
- 梯度下降演算法的數學解釋
- 梯度下降演算法的例項
- 梯度下降演算法的實現
- Further reading
本文將從一個下山的場景開始，先提出梯度下降演算法的基本思想，進而從數學上解釋梯度下降演算法的原理，最後實現一個簡單的梯度下降演算法的例項！
梯度下降的場景假設
梯度下降法的基本思想可以類比為一個下山的過程。假設這樣一個場景：一個人被困在山上，需要從山上下來(i.e. 找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低。因此，下山的路徑就無法確定，他必須利用自己周圍的資訊去找到下山的路徑。這個時候，他就可以利用梯度下降演算法來幫助自己下山。具體來說就是，以他當前的所處的位置為基準，尋找這個位置最陡峭的地方，然後朝著山的高度下降的地方走，同理，如果我們的目標是上山，也就是爬到山頂，那麼此時應該是朝著最陡峭的方向往上走。然後每走一段距離，都反覆採用同一個方法，最後就能成功的抵達山谷。
image.png
我們同時可以假設這座山最陡峭的地方是無法通過肉眼立馬觀察出來的，而是需要一個複雜的工具來測量，同時，這個人此時正好擁有測量出最陡峭方向的能力。所以，此人每走一段距離，都需要一段時間來測量所在位置最陡峭的方向，這是比較耗時的。那麼為了在太陽下山之前到達山底，就要儘可能的減少測量方向的次數。這是一個兩難的選擇，如果測量的頻繁，可以保證下山的方向是絕對正確的，但又非常耗時，如果測量的過少，又有偏離軌道的風險。所以需要找到一個合適的測量方向的頻率，來確保下山的方向不錯誤，同時又不至於耗時太多！
梯度下降
梯度下降的基本過程就和下山的場景很類似。
首先，我們有一個可微分的函式。這個函式就代表著一座山。我們的目標就是找到這個函式的最小值，也就是山底。根據之前的場景假設，最快的下山的方式就是找到當前位置最陡峭的方向，然後沿著此方向向下走，對應到函式中，就是找到給定點的
所以，我們重複利用這個方法，反覆求取梯度，最後就能到達區域性的最小值，這就類似於我們下山的過程。而求取梯度就確定了最陡峭的方向，也就是場景中測量方向的手段。那麼為什麼梯度的方向就是最陡峭的方向呢？接下來，我們從微分開始講起
微分
看待微分的意義，可以有不同的角度，最常用的兩種是：
- 函式影象中，某點的切線的斜率
函式的變化率
幾個微分的例子：
image.png
上面的例子都是單變數的微分，當一個函式有多個變數的時候，就有了多變數的微分，即分別對每個變數進行求微分
image.png梯度
梯度實際上就是多變數微分的一般化。
下面這個例子：
image.png我們可以看到，梯度就是分別對每個變數進行微分，然後用逗號分割開，梯度是用<>包括起來，說明梯度其實一個向量。
梯度是微積分中一個很重要的概念，之前提到過梯度的意義
- 在單變數的函式中，梯度其實就是函式的微分，代表著函式在某個給定點的切線的斜率
- 在多變數函式中，梯度是一個向量，向量有方向，梯度的方向就指出了函式在給定點的上升最快的方向
這也就說明了為什麼我們需要千方百計的求取梯度！我們需要到達山底，就需要在每一步觀測到此時最陡峭的地方，梯度就恰巧告訴了我們這個方向。梯度的方向是函式在給定點上升最快的方向，那麼梯度的反方向就是函式在給定點下降最快的方向，這正是我們所需要的。所以我們只要沿著梯度的方向一直走，就能走到區域性的最低點！
image.png梯度下降演算法的數學解釋
上面我們花了大量的篇幅介紹梯度下降演算法的基本思想和場景假設，以及梯度的概念和思想。下面我們就開始從數學上解釋梯度下降演算法的計算過程和思想！
image.png此公式的意義是：J是關於Θ的一個函式，我們當前所處的位置為Θ0點，要從這個點走到J的最小值點，也就是山底。首先我們先確定前進的方向，也就是梯度的反向，然後走一段距離的步長，也就是α，走完這個段步長，就到達了Θ1這個點！
image.png下面就這個公式的幾個常見的疑問：
- α是什麼含義？
α在梯度下降演算法中被稱作為學習率或者步長，意味著我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大扯著蛋，哈哈，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的話，可能導致遲遲走不到最低點，太大的話，會導致錯過最低點！
image.png- 為什麼要梯度要乘以一個負號？
梯度前加一個負號，就意味著朝著梯度相反的方向前進！我們在前文提到，梯度的方向實際就是函式在此點上升最快的方向！而我們需要朝著下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號
梯度下降演算法的例項
我們已經基本瞭解了梯度下降演算法的計算過程，那麼我們就來看幾個梯度下降演算法的小例項，首先從單變數的函式開始
單變數函式的梯度下降
我們假設有一個單變數的函式
image.png函式的微分
image.png初始化，起點為
image.png學習率為
image.png根據梯度下降的計算公式
image.png我們開始進行梯度下降的迭代計算過程：
image.png如圖，經過四次的運算，也就是走了四步，基本就抵達了函式的最低點，也就是山底
image.png多變數函式的梯度下降
我們假設有一個目標函式
image.png現在要通過梯度下降法計算這個函式的最小值。我們通過觀察就能發現最小值其實就是 (0，0)點。但是接下來，我們會從梯度下降演算法開始一步步計算到這個最小值！
我們假設初始的起點為：
image.png初始的學習率為：
image.png函式的梯度為：
image.png進行多次迭代：
image.png我們發現，已經基本靠近函式的最小值點
image.png梯度下降演算法的實現
下面我們將用python實現一個簡單的梯度下降演算法。場景是一個簡單的線性迴歸的例子：假設現在我們有一系列的點，如下圖所示
image.png我們將用梯度下降法來擬合出這條直線！
首先，我們需要定義一個代價函式，在此我們選用均方誤差代價函式
image.png此公示中
- m是資料集中點的個數
- ½是一個常量，這樣是為了在求梯度的時候，二次方乘下來就和這裡的½抵消了，自然就沒有多餘的常數係數，方便後續的計算，同時對結果不會有影響
- y 是資料集中每個點的真實y座標的值
h 是我們的預測函式，根據每一個輸入x，根據Θ 計算得到預測的y值，即
image.png
我們可以根據代價函式看到，代價函式中的變數有兩個，所以是一個多變數的梯度下降問題，求解出代價函式的梯度，也就是分別對兩個變數進行微分
image.png明確了代價函式和梯度，以及預測的函式形式。我們就可以開始編寫程式碼了。但在這之前，需要說明一點，就是為了方便程式碼的編寫，我們會將所有的公式都轉換為矩陣的形式，python中計算矩陣是非常方便的，同時代碼也會變得非常的簡潔。
為了轉換為矩陣的計算，我們觀察到預測函式的形式
image.png我們有兩個變數，為了對這個公式進行矩陣化，我們可以給每一個點x增加一維，這一維的值固定為1，這一維將會乘到Θ0上。這樣就方便我們統一矩陣化的計算
image.png然後我們將代價函式和梯度轉化為矩陣向量相乘的形式
image.pngcoding time
首先，我們需要定義資料集和學習率
import numpy as np
# Size of the points dataset.
m = 20
# Points x-coordinate and dummy value (x0, x1).
X0 = np.ones((m, 1))
X1 = np.arange(1, m+1).reshape(m, 1)
X = np.hstack((X0, X1))
# Points y-coordinate
y = np.array([
3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# The Learning Rate alpha.
alpha = 0.01
接下來我們以矩陣向量的形式定義代價函式和代價函式的梯度
def error_function(theta, X, y):
'''Error function J definition.'''
diff = np.dot(X, theta) - y
return (1./2*m) * np.dot(np.transpose(diff), diff)
def gradient_function(theta, X, y):
'''Gradient of the function J definition.'''
diff = np.dot(X, theta) - y
return (1./m) * np.dot(np.transpose(X), diff)
最後就是演算法的核心部分，梯度下降迭代計算
def gradient_descent(X, y, alpha):
'''Perform gradient descent.'''
theta = np.array([1, 1]).reshape(2, 1)
gradient = gradient_function(theta, X, y)
while not np.all(np.absolute(gradient) <= 1e-5):
theta = theta - alpha * gradient
gradient = gradient_function(theta, X, y)
return theta
當梯度小於1e-5時，說明已經進入了比較平滑的狀態，類似於山谷的狀態，這時候再繼續迭代效果也不大了，所以這個時候可以退出迴圈！
完整的程式碼如下
import numpy as np
# Size of the points dataset.
m = 20
# Points x-coordinate and dummy value (x0, x1).
X0 = np.ones((m, 1))
X1 = np.arange(1, m+1).reshape(m, 1)
X = np.hstack((X0, X1))
# Points y-coordinate
y = np.array([
3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# The Learning Rate alpha.
alpha = 0.01
def error_function(theta, X, y):
'''Error function J definition.'''
diff = np.dot(X, theta) - y
return (1./2*m) * np.dot(np.transpose(diff), diff)
def gradient_function(theta, X, y):
'''Gradient of the function J definition.'''
diff = np.dot(X, theta) - y
return (1./m) * np.dot(np.transpose(X), diff)
def gradient_descent(X, y, alpha):
'''Perform gradient descent.'''
theta = np.array([1, 1]).reshape(2, 1)
gradient = gradient_function(theta, X, y)
while not np.all(np.absolute(gradient) <= 1e-5):
theta = theta - alpha * gradient
gradient = gradient_function(theta, X, y)
return theta
optimal = gradient_descent(X, y, alpha)
print('optimal:', optimal)
print('error function:', error_function(optimal, X, y)[0,0])
執行程式碼，計算得到的結果如下
image.png所擬合出的直線如下
image.png小結
至此，我們就基本介紹完了梯度下降法的基本思想和演算法流程，並且用python實現了一個簡單的梯度下降演算法擬合直線的案例！
最後，我們回到文章開頭所提出的場景假設:
這個下山的人實際上就代表了反向傳播演算法，下山的路徑其實就代表著演算法中一直在尋找的引數Θ，山上當前點的最陡峭的方向實際上就是代價函式在這一點的梯度方向，場景中觀測最陡峭方向所用的工具就是微分 。在下一次觀測之前的時間就是有我們演算法中的學習率α所定義的。
可以看到場景假設和梯度下降演算法很好的完成了對應！