第二篇：神經網路中反向傳播與梯度下降的基本概念

預警：本篇部落格中會涉及到偏導數的概念，但是非常初級，很容易理解，建議硬著頭皮看，跟著算一遍，看完之後保證會覺得人生美好了很多。

反向傳播和梯度下降這兩個詞，第一眼看上去似懂非懂，不明覺厲。這兩個概念是整個神經網路中的重要組成部分，是和誤差函式/損失函式的概念分不開的。

神經網路訓練的最基本的思想就是：先“蒙”一個結果，我們叫預測結果a，看看這個預測結果和事先標記好的訓練集中的真實結果y之間的差距，然後調整策略，再試一次，這一次就不是“蒙”了，而是有依據地向正確的方向靠近。如此反覆多次，一直到預測結果和真實結果之間相差無幾，亦即|a-y|->0，就結束訓練。

在神經網路訓練中，我們把“蒙”叫做初始化，可以隨機，也可以根據以前的經驗給定初始值。即使是“蒙”，也是有技術含量的。

通俗地理解反向傳播

舉個通俗的例子，Bob拿了一支沒有準星的步槍，或者是準星有bug，或者是Bob眼神兒不好看不清靶子，或者是霧很大......反正就是Bob很倒黴。第一次試槍後，拉回靶子一看，彈著點偏左了，於是在第二次試槍時，Bob就會有意識地向右側偏幾毫米，再看靶子上的彈著點，如此反覆幾次，Bob就會掌握這支步槍的脾氣了。下圖顯示了Bob的5次試槍過程：

在這個例子中：

• 每次試槍彈著點和靶心之間的差距就叫做誤差，可以用一個誤差函式來表示，比如差距的絕對值，如圖中的紅色線。
• 一共試槍5次，就是迭代/訓練了5次的過程 。
• 每次試槍後，把靶子拉回來看彈著點，然後調整下一次的射擊角度的過程，叫做反向傳播。注意，把靶子拉回來看和跑到靶子前面去看有本質的區別，後者容易有生命危險，因為還有別的射擊者。一個不恰當的比喻是，在數學概念中，人跑到靶子前面去看，叫做正向微分；把靶子拉回來看，叫做反向微分。
• 每次調整角度的數值和方向，叫做梯度。比如向右側調整1毫米，或者向左下方調整2毫米。如圖中的綠色向量線。

上圖是每次單發點射，所以每次訓練樣本的個數是1。在實際的神經網路訓練中，通常需要多個樣本，做批量訓練，以避免單個樣本本身取樣時帶來的誤差。在本例中，多個樣本可以描述為連發射擊，假設一次可以連打3發子彈，每次的離散程度都類似，如下圖所示：

• 如果每次3發子彈連發，這3發子彈的彈著點和靶心之間的差距之和再除以3，叫做損失，可以用損失函式來表示。

其實損失就是所有樣本的誤差的總和，所以有時候損失函式可以和誤差函式混用概念。

其實射擊還不這麼簡單，如果是遠距離狙擊，還要考慮空氣阻力和風速，在神經網路裡，空氣阻力和風速可以對應到隱藏層的概念上。

用數學概念理解反向傳播

我們再用一個純數學的例子來說明反向傳播的概念。

假設我們有一個函式 \(z = x * y，其中: x = w * 2 + b, y = b + 1，即: z = (w * 2 + b) * (b + 1)\)

關係如下圖：

注意這裡x, y, z不是變數，w, b是才變數，因為在神經網路中，我們要最終求解的是w和b的值，x,y,z只是樣本值。

當w = 3, b = 4時，會得到如下結果

最終的z值，受到了前面很多因素的影響：變數w，變數b，計算式x，計算式y。常數是個定值，不考慮。目前的z=50，如果我們想讓z變大一些，w和b應該如何變化呢？

我們從z開始一層一層向回看，圖中各節點關於變數b的偏導計算結果如下圖：

因為z = x * y，其中x = w * 2 + b，y = b + 1
所以：

\[\frac{\partial{z}}{\partial{b}}=\frac{\partial{z}}{\partial{x}}*\frac{\partial{x}}{\partial{b}}+\frac{\partial{z}}{\partial{y}}*\frac{\partial{y}}{\partial{b}}=5*1+10*1=15\]

其中：

\[\frac{\partial{z}}{\partial{x}}=\frac{\partial{}}{\partial{x}}(x*y)=y=5\]
\[\frac{\partial{z}}{\partial{y}}=\frac{\partial{}}{\partial{y}}(x*y)=x=10\]
\[\frac{\partial{x}}{\partial{b}}=\frac{\partial{}}{\partial{b}}(w*2+b)=1\]
\[\frac{\partial{y}}{\partial{b}}=\frac{\partial{}}{\partial{b}}(b+1)=1\]

有一個很有趣的問題是：z = x * y = 10 * 5 = 50，表面看起來x=10，y=5，似乎x對z的貢獻較大。那麼x的微小變化和y的微小變化對z來說，哪一個貢獻大呢？

我們假設只有x變化時，△x = 0.1, 則z = (x + △x) * y = 10.1 * 5 = 50.5

我們再假設只有y變化時，△y = 0.1, 則z = x * (y +△y) = 10 * 5.1 = 51

50.5 < 51，說明y的微小變化對z的貢獻比較大，這個從

\[\frac{\partial{z}}{\partial{x}}=\frac{\partial{}}{\partial{x}}(x*y)=5 < \frac{\partial{z}}{\partial{y}}=\frac{\partial{}}{\partial{y}}(x*y)=10\]

和這兩個值的比較來看也可以證明。而△x和△y就可以理解為梯度值。

同理，我們也可以得到圖中各變數對w的偏導值：

從以上兩圖可以看出，反向微分保留了所有變數（包括中間變數）對結果z的影響。若z為誤差函式，則對圖進行一次計算，可以得到所有節點對z的影響，即梯度值，下一步就可以利用這些梯度值來更新w和b的權重。

w的變化和b的變化，哪一個對z的變化貢獻大？從圖中還可以注意到：

\[\frac{\partial{z}}{\partial{b}}=15\]
\[\frac{\partial{z}}{\partial{w}}=10\]

所以每次w和b的變化值是不相同的，b的變化會比w大一些，也就是每一步的跨度大一些，這個是與z = xy = (w2+b)*(b+1)這個算式相關的，並不代表神經網路中實際情況。

反向傳播的實際計算過程（單變數）

還是用上面的例子，目前：

• \(w = 3\)
• \(b=4\)
• \(x = w*2+b = 10\)
• \(y = b+1 = 5\)
• \(z = x*y=50\)

假設我們最終的目的想讓z = 60，只改變b的值，如何實現？
答案就是偏導數：

\[\frac{\partial{z}}{\partial{b}}=\frac{\Delta{z}}{\Delta{b}}=15\]

目前z=50, 距離60相差10，所以我們令\(\Delta{z}=60-50=10\)，則：

\[ \frac{\Delta{z}}{\Delta{b}}=15=\frac{10}{\Delta{b}} \\ \]

所以:

\[\Delta{b} = 0.66667\]

再帶入式子中（順便說一句，下面這個計算過程就叫做前向計算）

• \(w = 3\)
• \(b=4+0.66667=4.66667\)
• \(x = w*2+b = 10.66667\)
• \(y = b+1 = 5.66667\)
• \(z = x*y=10.66667*5.66667=60.4445\)

一下子超過60了，咋辦？再來一次（下面的過程就叫做反向傳播）：

我們令\(\Delta{z}=60-60.4445=-0.4445\)，則：

\[ \frac{\Delta{z}}{\Delta{b}}=15=\frac{-0.4445}{\Delta{b}} \\ \]

所以:

\[\Delta{b} = -0.02963\]

再帶入式子中：

• \(w = 3\)
• \(b=4.66667-0.02963=4.63704\)
• \(x = w*2+b = 10.63704\)
• \(y = b+1 = 5.63704\)
• \(z = x*y =10.63704*5.63704=59.96\)

咦哈！59.96了！再迭代幾次，應該可以近似等於60了，直到誤差不大於0.00001時，我們就可以結束迭代了，對於計算機來說，這些運算的執行速度很快。

有的同學會說了：這個問題不是用數學公式倒推求解一個二次方程，就能直接得到準確的b值嗎？是的！但是我們是要說明機器學習的方法，機器並不會解二次方程，而且很多時候不是用二次方程就能解決實際問題的。而上例所示，是用機器所擅長的迭代計算的方法來不斷逼近真實解，這就是機器學習的真諦！而且這種方法是普遍適用的。

用二維平面函式說明梯度下降原理

很多資料中會用下面這個圖來說明梯度下降，但是都沒有說清楚以下幾個問題：

1） 為啥用這個看上去像\(y = x^2\)族的函式來說明梯度下降？
2） 在最低點的左側，梯度值是負數；在最低點的右側，梯度值是正數。為什麼說是“下降”？
3） 為什麼1—>2，2—>3等等的連線不是這條曲線的切線呢，而好像是絃線？

為何用\(y = x^2\)函式？

這是因為有一種損失函式的形式就是均方差，亦即：

\[loss = \sum_{i}(a_i - y_i) ^ 2\]

其中a是本次迭代的預測結果，y是樣本中的真實結果。我們的目的就是在這個函式上求最小值，使loss最小，這樣樣本值和預測值就會非常非常接近，以便於我們以後預測不在樣本中的真實資料。

為什麼說是“梯度下降”？

“梯度下降”，剛接觸這個詞時，我總是往“降低難度”或“降低維度”方面去理解，因為有個“下降”的動詞在裡面。而實際上，“下降”在這裡面的含義是“與導數相反的方向”的意思。

我們假設上面這個圖形的函式是\(y = (x-1)^2+0.001\)，則\(y’_x = 2(x-1)\)。

• 在點B上，這個函式的切線（綠色）是指向下方的（Y軸方向），所以是個負數：假設\(X_B\) = 0.1, 則\(y’ = 2*(0.1-1) = -1.8\)。
• 在F點上，切線（綠色）向上：假設\(X_F\) = 1.5, 則\(y’ = 2*(1.5-1) = 1\)，是個正數。

而在標準的權重更新公式裡：

\[w = w – η*\Delta{w}\]
\[b = b – η*\Delta{b}\]

可以看到無論是w還是b，都是用上一次的權重值減去步長\(\times\)梯度。注意，我們在上一個例子中，是用b直接加減\(\Delta{b}\)的，並沒有用到η，或者說η=1。這樣的問題就是步長可能過大，一下子就跳過了極值點。

• 當梯度(y')是正數時，即點F的位置，\(x = x - η*1\)，切線向上，x值會變小，權重值會從右側向x=1靠近；
• 當梯度(y')是負數時，亦即點B的位置，切線向下，x值會變大：\(x = x - η*(-1.8) = x + η*1.8\)，最終運算結果變成了加法，與切線方向相反，權重值會從左側向x=1靠近。

所以總體上看，無論x在極值的左側還是右側，都會向中間（坡底）靠攏，確實是“下降”了。

不知不覺中，我們已經接觸到了第一個神經網路中的超參η，即步長值，這個值對於神經網路訓練非常重要，決定了訓練時間的長短，它的取值一般是從0.1到0.0001，自己選擇。

曲線和絃線的關係？

1. 我們先知道了A點的切線的方向，亦即黃色的線，但是不知道長度
2. 我們有步長值η，以及梯度下降公式\(X_1 = X_0 – η * dx\)
3. 因為\(y'_x的導數dx = 2(X-1), η = 0.1, X_0 = 0.2, 於是有X_1 = X_0–0.1*2(X_0-1) = 0.36\)，這就等同於我們知道了切線的長度，亦即綠色的線的長度和方向都確定了
4. 然後我們可以畫出紅色的線（亦即絃線）

所以，絃線在這裡面沒啥用途，只是表示一個迭代跳躍的動作而已。實際的變化值已經由綠色的線定義好了。

參考資料

本系列部落格連結：