2. 程式人生 > >神經網路反向傳導演算法

神經網路反向傳導演算法

阿新 • • 發佈：2019-01-31

假設我們有一個固定樣本集 \textstyle \{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}，它包含 \textstyle m 個樣例。我們可以用批量梯度下降法來求解神經網路。具體來講，對於單個樣例 \textstyle (x,y)，其代價函式為：

\begin{align}J(W,b; x,y) = \frac{1}{2} \left\| h_{W,b}(x) - y \right\|^2.\end{align}

這是一個（二分之一的）方差代價函式。給定一個包含 \textstyle m 個樣例的資料集，我們可以定義整體代價函式為：

\begin{align}J(W,b)&= \left[ \frac{1}{m} \sum_{i=1}^m J(W,b;x^{(i)},y^{(i)}) \right] + \frac{\lambda}{2} \sum_{l=1}^{n_l-1} \; \sum_{i=1}^{s_l} \; \sum_{j=1}^{s_{l+1}} \left( W^{(l)}_{ji} \right)^2 \\&= \left[ \frac{1}{m} \sum_{i=1}^m \left( \frac{1}{2} \left\| h_{W,b}(x^{(i)}) - y^{(i)} \right\|^2 \right) \right] + \frac{\lambda}{2} \sum_{l=1}^{n_l-1} \; \sum_{i=1}^{s_l} \; \sum_{j=1}^{s_{l+1}} \left( W^{(l)}_{ji} \right)^2\end{align}

以上公式中的第一項 \textstyle J(W,b) 是一個均方差項。第二項是一個規則化項（也叫權重衰減項），其目的是減小權重的幅度，防止過度擬合。


[注：通常權重衰減的計算並不使用偏置項 \textstyle b^{(l)}_i，比如我們在 \textstyle J(W, b) 的定義中就沒有使用。一般來說，將偏置項包含在權重衰減項中只會對最終的神經網路產生很小的影響。如果你在斯坦福選修過CS229（機器學習）課程，或者在YouTube上看過課程視訊，你會發現這個權重衰減實際上是課上提到的貝葉斯規則化方法的變種。在貝葉斯規則化方法中，我們將高斯先驗概率引入到引數中計算MAP（極大後驗）估計（而不是極大似然估計）。]


權重衰減引數 \textstyle \lambda 用於控制公式中兩項的相對重要性。在此重申一下這兩個複雜函式的含義：\textstyle J(W,b;x,y) 是針對單個樣例計算得到的方差代價函式；\textstyle J(W,b) 是整體樣本代價函式，它包含權重衰減項。


以上的代價函式經常被用於分類和迴歸問題。在分類問題中，我們用 \textstyle y = 0 或 \textstyle 1，來代表兩種型別的標籤（回想一下，這是因為 sigmoid啟用函式的值域為 \textstyle [0,1]；如果我們使用雙曲正切型啟用函式，那麼應該選用 \textstyle -1 和 \textstyle +1 作為標籤）。對於迴歸問題，我們首先要變換輸出值域（譯者注：也就是 \textstyle y），以保證其範圍為 \textstyle [0,1] （同樣地，如果我們使用雙曲正切型啟用函式，要使輸出值域為 \textstyle [-1,1]）。


我們的目標是針對引數 \textstyle W 和 \textstyle b 來求其函式 \textstyle J(W,b) 的最小值。為了求解神經網路，我們需要將每一個引數 \textstyle W^{(l)}_{ij}

 和 \textstyle b^{(l)}_i 初始化為一個很小的、接近零的隨機值（比如說，使用正態分佈 \textstyle {Normal}(0,\epsilon^2) 生成的隨機值，其中 \textstyle \epsilon 設定為 \textstyle 0.01 ），之後對目標函式使用諸如批量梯度下降法的最優化演算法。因為 \textstyle J(W, b) 是一個非凸函式，梯度下降法很可能會收斂到區域性最優解；但是在實際應用中，梯度下降法通常能得到令人滿意的結果。最後，需要再次強調的是，要將引數進行隨機初始化，而不是全部置為 \textstyle 0。如果所有引數都用相同的值作為初始值，那麼所有隱藏層單元最終會得到與輸入值有關的、相同的函式（也就是說，對於所有 \textstyle i，\textstyle W^{(1)}_{ij}都會取相同的值，那麼對於任何輸入 \textstyle x 都會有：\textstyle a^{(2)}_1 = a^{(2)}_2 = a^{(2)}_3 = \ldots ）。隨機初始化的目的是使對稱失效。


梯度下降法中每一次迭代都按照如下公式對引數 \textstyle W 和\textstyle b 進行更新：

\begin{align}W_{ij}^{(l)} &= W_{ij}^{(l)} - \alpha \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b) \\b_{i}^{(l)} &= b_{i}^{(l)} - \alpha \frac{\partial}{\partial b_{i}^{(l)}} J(W,b)\end{align}

其中 \textstyle \alpha 是學習速率。其中關鍵步驟是計算偏導數。我們現在來講一下反向傳播演算法，它是計算偏導數的一種有效方法。


我們首先來講一下如何使用反向傳播演算法來計算 \textstyle \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b; x, y) 和 \textstyle \frac{\partial}{\partial b_{i}^{(l)}} J(W,b; x, y)，這兩項是單個樣例 \textstyle (x,y) 的代價函式 \textstyle J(W,b;x,y)的偏導數。一旦我們求出該偏導數，就可以推匯出整體代價函式 \textstyle J(W,b) 的偏導數：

\begin{align}\frac{\partial}{\partial W_{ij}^{(l)}} J(W,b) &=\left[ \frac{1}{m} \sum_{i=1}^m \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b; x^{(i)}, y^{(i)}) \right] + \lambda W_{ij}^{(l)} \\\frac{\partial}{\partial b_{i}^{(l)}} J(W,b) &=\frac{1}{m}\sum_{i=1}^m \frac{\partial}{\partial b_{i}^{(l)}} J(W,b; x^{(i)}, y^{(i)})\end{align}

以上兩行公式稍有不同，第一行比第二行多出一項，是因為權重衰減是作用於 \textstyle W 而不是 \textstyle b。


反向傳播演算法的思路如下：給定一個樣例 \textstyle (x,y)，我們首先進行“前向傳導”運算，計算出網路中所有的啟用值，包括 \textstyle h_{W,b}(x) 的輸出值。之後，針對第 \textstyle l 層的每一個節點 \textstyle i，我們計算出其“殘差” \textstyle \delta^{(l)}_i，該殘差表明了該節點對最終輸出值的殘差產生了多少影響。對於最終的輸出節點，我們可以直接算出網路產生的啟用值與實際值之間的差距，我們將這個差距定義為 \textstyle \delta^{(n_l)}_i （第 \textstyle n_l 層表示輸出層）。對於隱藏單元我們如何處理呢？我們將基於節點（譯者注：第 \textstyle l+1 層節點）殘差的加權平均值計算 \textstyle \delta^{(l)}_i，這些節點以 \textstyle a^{(l)}_i 作為輸入。下面將給出反向傳導演算法的細節：

  1. 進行前饋傳導計算，利用前向傳導公式，得到 \textstyle L_2, L_3, \ldots 直到輸出層 \textstyle L_{n_l} 的啟用值。
  2. 對於第 \textstyle n_l 層（輸出層）的每個輸出單元 \textstyle i，我們根據以下公式計算殘差：
    \begin{align}\delta^{(n_l)}_i= \frac{\partial}{\partial z^{(n_l)}_i} \;\; \frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 = - (y_i - a^{(n_l)}_i) \cdot f'(z^{(n_l)}_i)\end{align}
    [譯者注：
    \begin{align}\delta^{(n_l)}_i &= \frac{\partial}{\partial z^{n_l}_i}J(W,b;x,y) = \frac{\partial}{\partial z^{n_l}_i}\frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 \\ &= \frac{\partial}{\partial z^{n_l}_i}\frac{1}{2} \sum_{j=1}^{S_{n_l}} (y_j-a_j^{(n_l)})^2 = \frac{\partial}{\partial z^{n_l}_i}\frac{1}{2} \sum_{j=1}^{S_{n_l}} (y_j-f(z_j^{(n_l)}))^2 \\ &= - (y_i - f(z_i^{(n_l)})) \cdot f'(z^{(n_l)}_i) = - (y_i - a^{(n_l)}_i) \cdot f'(z^{(n_l)}_i)\end{align}
    ]
  3. 對 \textstyle l = n_l-1, n_l-2, n_l-3, \ldots, 2 的各個層，第 \textstyle l 層的第 \textstyle i 個節點的殘差計算方法如下：
    \delta^{(l)}_i = \left( \sum_{j=1}^{s_{l+1}} W^{(l)}_{ji} \delta^{(l+1)}_j \right) f'(z^{(l)}_i)
    {譯者注：
    \begin{align}\delta^{(n_l-1)}_i &=\frac{\partial}{\partial z^{n_l-1}_i}J(W,b;x,y) = \frac{\partial}{\partial z^{n_l-1}_i}\frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 = \frac{\partial}{\partial z^{n_l-1}_i}\frac{1}{2} \sum_{j=1}^{S_{n_l}}(y_j-a_j^{(n_l)})^2 \\&= \frac{1}{2} \sum_{j=1}^{S_{n_l}}\frac{\partial}{\partial z^{n_l-1}_i}(y_j-a_j^{(n_l)})^2 = \frac{1}{2} \sum_{j=1}^{S_{n_l}}\frac{\partial}{\partial z^{n_l-1}_i}(y_j-f(z_j^{(n_l)}))^2 \\&= \sum_{j=1}^{S_{n_l}}-(y_j-f(z_j^{(n_l)})) \cdot \frac{\partial}{\partial z_i^{(n_l-1)}}f(z_j^{(n_l)}) = \sum_{j=1}^{S_{n_l}}-(y_j-f(z_j^{(n_l)})) \cdot f'(z_j^{(n_l)}) \cdot \frac{\partial z_j^{(n_l)}}{\partial z_i^{(n_l-1)}} \\&= \sum_{j=1}^{S_{n_l}} \delta_j^{(n_l)} \cdot \frac{\partial z_j^{(n_l)}}{\partial z_i^{n_l-1}} = \sum_{j=1}^{S_{n_l}} \left(\delta_j^{(n_l)} \cdot \frac{\partial}{\partial z_i^{n_l-1}}\sum_{k=1}^{S_{n_l-1}}f(z_k^{n_l-1}) \cdot W_{jk}^{n_l-1}\right) \\&= \sum_{j=1}^{S_{n_l}} \delta_j^{(n_l)} \cdot W_{ji}^{n_l-1} \cdot f'(z_i^{n_l-1}) = \left(\sum_{j=1}^{S_{n_l}}W_{ji}^{n_l-1}\delta_j^{(n_l)}\right)f'(z_i^{n_l-1})\end{align}
    將上式中的\textstyle n_l-1與\textstyle n_l的關係替換為\textstyle l與\textstyle l+1的關係，就可以得到：
    \delta^{(l)}_i = \left( \sum_{j=1}^{s_{l+1}} W^{(l)}_{ji} \delta^{(l+1)}_j \right) f'(z^{(l)}_i)
    以上逐次從後向前求導的過程即為“反向傳導”的本意所在。 ]
  4. 計算我們需要的偏導數，計算方法如下：
    \begin{align}\frac{\partial}{\partial W_{ij}^{(l)}} J(W,b; x, y) &= a^{(l)}_j \delta_i^{(l+1)} \\\frac{\partial}{\partial b_{i}^{(l)}} J(W,b; x, y) &= \delta_i^{(l+1)}.\end{align}


最後，我們用矩陣-向量表示法重寫以上演算法。我們使用“\textstyle \bullet” 表示向量乘積運算子（在Matlab或Octave裡用“.*”表示，也稱作阿達馬乘積）。若 \textstyle a = b \bullet c，則 \textstyle a_i = b_ic_i。在上一個教程中我們擴充套件了 \textstyle f(\cdot) 的定義，使其包含向量運算，這裡我們也對偏導數 \textstyle f'(\cdot) 也做了同樣的處理（於是又有 \textstyle f'([z_1, z_2, z_3]) = [f'(z_1), f'(z_2), f'(z_3)] ）。


那麼，反向傳播演算法可表示為以下幾個步驟：

  1. 進行前饋傳導計算，利用前向傳導公式，得到 \textstyle L_2, L_3, \ldots直到輸出層 \textstyle L_{n_l} 的啟用值。
  2. 對輸出層（第 \textstyle n_l 層），計算：
    \begin{align}\delta^{(n_l)}= - (y - a^{(n_l)}) \bullet f'(z^{(n_l)})\end{align}
  3. 對於 \textstyle l = n_l-1, n_l-2, n_l-3, \ldots, 2 的各層，計算：
    \begin{align}\delta^{(l)} = \left((W^{(l)})^T \delta^{(l+1)}\right) \bullet f'(z^{(l)})\end{align}
  4. 計算最終需要的偏導數值：
    \begin{align}\nabla_{W^{(l)}} J(W,b;x,y) &= \delta^{(l+1)} (a^{(l)})^T, \\\nabla_{b^{(l)}} J(W,b;x,y) &= \delta^{(l+1)}.\end{align}


實現中應注意：在以上的第2步和第3步中，我們需要為每一個 \textstyle i 值計算其 \textstyle f'(z^{(l)}_i)。假設 \textstyle f(z) 是sigmoid函式，並且我們已經在前向傳導運算中得到了 \textstyle a^{(l)}_i。那麼，使用我們早先推匯出的 \textstyle f'(z)表示式，就可以計算得到 \textstyle f'(z^{(l)}_i) = a^{(l)}_i (1- a^{(l)}_i)。


最後，我們將對梯度下降演算法做個全面總結。在下面的虛擬碼中，\textstyle \Delta W^{(l)} 是一個與矩陣 \textstyle W^{(l)} 維度相同的矩陣，\textstyle \Delta b^{(l)} 是一個與 \textstyle b^{(l)} 維度相同的向量。注意這裡“\textstyle \Delta W^{(l)}”是一個矩陣，而不是“\textstyle \Delta 與 \textstyle W^{(l)} 相乘”。下面，我們實現批量梯度下降法中的一次迭代：

  1. 對於所有 \textstyle l，令 \textstyle \Delta W^{(l)} := 0 , \textstyle \Delta b^{(l)} := 0 （設定為全零矩陣或全零向量）
  2. 對於 \textstyle i = 1 到 \textstyle m，
    1. 使用反向傳播演算法計算 \textstyle \nabla_{W^{(l)}} J(W,b;x,y) 和 \textstyle \nabla_{b^{(l)}} J(W,b;x,y)。
    2. 計算 \textstyle \Delta W^{(l)} := \Delta W^{(l)} + \nabla_{W^{(l)}} J(W,b;x,y)。
    3. 計算 \textstyle \Delta b^{(l)} := \Delta b^{(l)} + \nabla_{b^{(l)}} J(W,b;x,y)。
  3. 更新權重引數：
    \begin{align}W^{(l)} &= W^{(l)} - \alpha \left[ \left(\frac{1}{m} \Delta W^{(l)} \right) + \lambda W^{(l)}\right] \\b^{(l)} &= b^{(l)} - \alpha \left[\frac{1}{m} \Delta b^{(l)}\right]\end{align}

現在，我們可以重複梯度下降法的迭代步驟來減小代價函式 \textstyle J(W,b) 的值，進而求解我們的神經網路。

中英文對照

反向傳播演算法 Backpropagation Algorithm
（批量）梯度下降法 (batch) gradient descent
（整體）代價函式 (overall) cost function
方差 squared-error
均方差 average sum-of-squares error
規則化項 regularization term
權重衰減 weight decay
偏置項 bias terms
貝葉斯規則化方法 Bayesian regularization method
高斯先驗概率 Gaussian prior
極大後驗估計 MAP
極大似然估計 maximum likelihood estimation
啟用函式 activation function
雙曲正切函式 tanh function
非凸函式 non-convex function
隱藏層單元 hidden (layer) units
對稱失效 symmetry breaking
學習速率 learning rate
前向傳導 forward pass
假設值 hypothesis
殘差 error term
加權平均值 weighted average
前饋傳導 feedforward pass
阿達馬乘積 Hadamard product
前向傳播 forward propagation

相關推薦

神經網路反向傳導演算法

假設我們有一個固定樣本集 ，它包含  個樣例。我們可以用批量梯度下降法來求解神經網路。具體來講，對於單個樣例 ，其代價函式為： 這是一個（二分之一的）方差代價函式。給定一個包含  個樣例的資料集，我們可以定義整體代價函式為： 以上公式中的第一項  是一個均方差項。第二

BP神經網路反向傳播演算法一步一步例項推導（Backpropagation Example）

1. loss 函式的優化 籠統來講： 設計loss函式是為了衡量網路輸出值和理想值之間的差距，儘管網路的直接輸出並不顯式的包含權重因子，但是輸出是同權重因子直接相關的，因此仍然可以將loss函式視作在權重因子空間中的一個函式。 可以將loss 記為E(w)，這裡為

人工神經網路——反向傳播演算法(BP)以及Python實現

人工神經網路是模擬生物神經系統的。神經元之間是通過軸突、樹突互相連線的，神經元收到刺激時，神經脈衝在神經元之間傳播，同時反覆的脈衝刺激，使得神經元之間的聯絡加強。受此啟發，人工神經網路中神經元之間的聯絡(權值)也是通過反覆的資料資訊"刺激"而得到調整的。而反向傳

卷積神經網路——反向傳播演算法

卷積神經網路（CNN）的結構可閱讀上一篇博文。CNN的基本層包括卷積層和池化層，二者通常一起使用，一個池化層緊跟一個卷積層之後。這兩層包括三個級聯的函式：卷積，求sigmoid函式（或使用其他激勵函式），池化。其前向傳播和後向傳播的示意圖如下： 

卷積神經網路反向傳播演算法

神經網路的訓練過程，就是通過已有的樣本，求取使代價函式最小化時所對應的引數。代價函式測量的是模型對樣本的預測值與其真實值之間的誤差，最小化的求解一般使用梯度下降法（Gradient Decent）或其他與梯度有關的方法。其中的步驟包括： 初始化引數。求代價函式關

卷積神經網路反向BP演算法公式推導

博文轉載至：http://blog.csdn.net/celerychen2009/article/details/8964753 此篇博文只涉及到公式推導，如果想了解卷積神經網路的具體工作過程，可檢視轉載博文博主其它文件或者百度自己去看。轉載的文章涉及到的角下標大家注意下

從 0 開始機器學習 - 神經網路反向 BP 演算法！

最近一個月專案好忙，終於擠出時間把這篇 BP 演算法基本思想寫完了，公式的推導放到下一篇講吧。 ## 一、神經網路的代價函式 神經網路可以看做是複雜邏輯迴歸的組合，因此與其類似，我們訓練神經網路也要定義代價函式，之後再使用梯度下降法來最小化代價函式，以此來訓練最優的權重矩陣。 ### 1.1 從邏輯迴歸

神經網路反向傳播（BP）演算法原理

一.BP演算法簡介 BP演算法的學習過程由正（前）向傳播過程和反向傳播過程組成。 1.正向傳播 將訓練集資料輸入到ANN的輸入層，經過隱藏層，最後達到輸出層並輸出結果； 2.反向傳播 由於ANN的輸出結果與實際結果有誤差，則計算估計值與

改善深層神經網路_優化演算法_mini-batch梯度下降、指數加權平均、動量梯度下降、RMSprop、Adam優化、學習率衰減

1.mini-batch梯度下降 在前面學習向量化時，知道了可以將訓練樣本橫向堆疊，形成一個輸入矩陣和對應的輸出矩陣： 當資料量不是太大時，這樣做當然會充分利用向量化的優點，一次訓練中就可以將所有訓練樣本涵蓋，速度也會較快。但當資料量急劇增大，達到百萬甚至更大的數量級時，組成的矩陣將極其龐大，直接對這麼大

神經網路和BP演算法推導

我的原文：www.hijerry.cn/p/53364.htm… 感知機 感知機（perceptron）於1957年由Rosenblatt提出，是一種二分類線性模型。感知機以樣本特徵向量作為輸入，輸出為預測類別，取正、負兩類。感知機最終學習到的是將輸入空間（特徵空間）劃分為正、負兩類的分離超平面，屬於判別

神經網路反向傳播梯度計算數學原理

[神經網路]反向傳播梯度計算數學原理 1 文章概述 本文通過一段來自於Pytorch官方的warm-up的例子：使用numpy來實現一個簡單的神經網路。使用基本的數學原理，對其計算過程進行理論推導，以揭示這幾句神奇的程式碼後面所包含的原理。 估計對大多數的同學來說，看完這個文章，肯定會是這樣的感覺：字都

CS229 6.18 CNN 的反向傳導演算法

本文主要內容是 CNN 的 BP 演算法，看此文章前請保證對CNN有初步認識。 網路表示 CNN相對於傳統的全連線DNN來說增加了卷積層與池化層，典型的卷積神經網路中（比如LeNet-5 ），開始幾層都是卷積和池化的交替，然後在靠近輸出的地方做成全連線網路，這時候已經將所有兩維2D的特徵maps轉化為全連

神經網路反向傳播，通俗理解

LR-----1層神經網路     dL/dz 簡稱dz_，L(a,y）使用交叉熵。       da_ = dL/da =  dz_ = dL/da * da/dz = da_* dw_ = dL/dz *dz/dw = dz

神經網路梯度下降演算法的demo

from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report from sklearn.datasets import make_b

神經網路和BP演算法

5. 神經網路 5.1 前向傳播 神經網路分為很多層，包括輸入層、輸出層和中間的隱層。 使用的符號如下： a(j)i a i

【手撕】神經網路反向傳播

神經網路前向傳播一般用於搭建整個神經網路的結構框架，形成整個網路的邏輯通路。反向傳播用於更新每層之間的權重，減少損失，進而提升預測準確度。 下面是一個神經網路的結構圖： 第一層是輸入層，包含兩個神經元i1，i2，和截距項b1；第二層是隱含層，包含兩個神經元h1,h2和截距項b2，第

前向神經網路和 BP 演算法詳解 --- 之 DNN

前向神經網路和 BP 演算法詳解 一、神經網路的概念詳解 1.1、人工神經網路的基礎單元 — > 感知機 1.1.1、感知機模型講解 首先我們需要明確一點就是，針對於擁有核函式的 SVM 或者多隱層 + 啟用函式的多層神

訓練神經網路的五大演算法

神經網路模型的每一類學習過程通常被歸納為一種訓練演算法。訓練的演算法有很多，它們的特點和效能各不相同。 問題的抽象 人們把神經網路的學習過程轉化為求損失函式f的最小值問題。一般來說，損失函式包括誤差項和正則項兩部分。誤差項衡量神經網路模型在訓練資料集上的擬合程度，

西瓜書5.5 程式設計實現BP神經網路——標準BP演算法、累積BP演算法

這裡照著書上的公式，實現了一下標準BP演算法，和累積BP演算法，BP是error Back Propagation的意思，誤差逆傳播。BP網路通常是指用BP演算法訓練的多層前饋神經網路。程式碼是照著書本公式自己寫的，沒有參考網上的其他版本。 資料和程式碼地址：https:/

機器學習——神經網路累積BP演算法

在上篇的部落格介紹的“標準BP演算法”每次僅針對一個訓練樣例更新連線權和閾值，也就是說，BP演算法中的更新規則是基於單個的 推導而得，如果類似的推匯出基於累積誤差最小化的更新規則，就得到了累積誤差逆傳播