看了很多博文，一談到梯度下降，大多都在畫圖，類比“下山”。對於一開始想要了解“梯度下降”是個什麼玩意兒時，這種類比法是非常有助於理解的。但是，當我大概知道了梯度下降是什麼東西之後，我就好奇了，梯度下降究竟是怎樣尋找到模型的最優引數的？不能一想到梯度下降，腦海中就只有“下山”的畫面，“下山”不是目的，目的在於“下山”的過程中確立引數。下面就簡單概述一下，梯度下降過程是如何一步一步尋找到模型的最優引數。

　　1.梯度下降相關概念：

• 假設函式（hypothesis function）：

　　所謂假設函式，就是監督學習中，我們擬合樣本特徵對映到目標變數的函式，記為 h_θ(x)

，θ為函式的引數。例如，一個簡單的線性迴歸擬合函式可以表示為：h_θ(x) = θ₀ + θ₁·x；

• 損失函式（loss function）：

　　又稱為代價函式。通常用損失函式來度量擬合的程度，從而評估模型擬合的好壞，記為 J(θ)。注意，損失函式是關於 θ 的函式！也就是說，對於損失函式來講，θ不再是函式的引數，而是損失函式的自變數！例如，對於線性迴歸的損失函式可以表示為：　　

　　　　J(θ) = 1/(2 *n) * ∑ ( h_θ(x_i) − y_i )² 　　

　　其中 n 

表示樣本數量， x_i 表示第 i 個樣本特徵，y_i 表示第 i 個樣本對應的目標變數的真實值， h_θ(x_i) 為假設函式。 當我們計算損失時，是將每個樣本中的特徵 x_i 和對應的目標變數真實值 y_i 帶入損失函式，此時，損失函式中就只剩下 θ 是未知的。

 　　例如，我們的假設函式為： h_θ(x) = θ₀ + θ₁·x₁ + θ₂·x₂² 

，其中一個樣本為 x^₁ = (1，2)，對應的目標變數 y^₁ = 10。將x¹ 和y¹ 帶入損失函式，則對於該樣本 x¹ 擬合的損失表示為： θ₀ + θ₁ + 4*θ₂ -10 ；此時，損失函式就是關於θ 的函數了。 每一個樣本都會有一個擬合損失，將所有樣本的損失相加，就是整個樣本集的擬合損失。

• 損失函式的梯度：

　　損失函式的梯度即對 θ_i 求偏導，由於損失函式是關於 θ 的函式，因此，θ 的取值不同，得出來的的梯度向量也是不同的。借用“下山”的比喻來解釋，θ 的不同取值，相當於處於山上的不同位置，每一個位置都會計算出一個梯度向量 ▽J(θ) 。

　　2. 梯度下降過程

　　(1) 學習得到損失函式 J(θ) 及樣本點xⁱ 的損失：

　　　　例如，對於線性迴歸模型的假設函式為： h_θ(x) = θ₀ + θ₁·x₁ + θ₂·x₂ ，則損失函式為：J(θ) =  1/(2 *n) * Σ（θ₀ + θ₁·x₁ + θ₂·x₂ - y）²；我們為樣本新增一個維度x₀  ，x₀ 恆等於 1。則，我們可以變損失函式表示為：J(θ) =  1/(2 *n) * Σ（θ₀·x₀ + θ₁·x₁ + θ₂·x₂ - y）²

　　　　為了便於講解和理解，我們先只取一個樣本點進行計算。對於樣本點 x^₁ = (x₀ = 1，x₁ = 1，x₂ = 2)，對應的目標變數 y^₁ = 10，的損失為：J(θ)¹ =  1/2 *（θ₀ + θ₁+ 2*θ₂ - 10）²

　　(2) 求出樣本點 xⁱ 損失函式的梯度向量：

　　　　根據 J(θ) ，求出模型損失函式的梯度向量表示為 ： ▽J(θ) = <（θ₀·x₀ + θ₁·x₁ + θ₂·x₂ - y）*x₀ ，（θ₀·x₀ + θ₁·x₁ + θ₂·x₂ - y）*x₁  ，（θ₀·x₀ + θ₁·x₁ + θ₂·x₂ - y）*x₂ >

　　　　根據 J(θ)¹ ，求出樣本點 x_¹ 對應的梯度▽J(θ)¹ = <（θ₀+ θ₁ + 2*θ₂ - 10），（θ₀+ θ₁ + 2*θ₂ - 10），（θ₀+ θ₁ + 2*θ₂ - 10）*2 >

　　(3) 初始化假設函式的引數 θ ，得到相應的梯度向量：

　　　　對 θ 進行隨機取值，假設θ_i 第一次全部取0，θ⁰ = < 0，0，0>；

　　　　將θ⁰ 帶入 J(θ)¹ ，得到 取 θ⁰ 時的損失為 J(θ)₀¹  = 1/2 *（0 + 0+ 2*0 - 10）² = 50

　　　　將θ⁰ 帶入▽J(θ)¹ ，得到 θ⁰ 處的梯度向量為 ▽J(θ)₀¹  =  < -10，-10，-20 > ；　　　

　　(4) 根據梯度下降步長，進行梯度下降迭代：

　　　　設立步長 α = 0.1 ，對 θ⁰ 進行梯度下降，得到 θ¹  

　　　　第一次梯度下降： 

　　　　θ¹ = θ⁰ - α * ▽J(θ)₀¹  = < 0，0，0 > - 0.1 * < -10，-10，-20 > = < 1，1，2 >

　　　　將θ¹ 帶入 J(θ)¹ ，得到 取 θ⁰ 時的損失為 J(θ)₀¹  = 1/2 *（1 + 1+ 2*2 - 10）² = 8

　　　　將θ¹ 帶入▽J(θ)¹ 

相關推薦