2. 程式人生 > >梯度下降法更新權值理論

梯度下降法更新權值理論

阿新 • • 發佈：2019-02-10

使用3層的神經網路(包含輸入層和輸出層)來演示是如何工作的。

網路：input 3個節點；hidden 3個節點；output 3個節點

引數：input：矩陣I是3*1的矩陣；W_{input\, hidden}為3*3的矩陣；W_{hidden\, output}為3*3的矩陣；output：矩陣為3*1的矩陣

計算hidden層節點的矩陣：X_{hidden} = W_{input\: hidden}\cdot I                         O_{hidden} = sigmoid(X_{hidden})

計算output層節點的輸出：X_{}{output} = W_{hidden\:output}\cdot O_{hidden}                  O_{output} = sigmoid(X_{output})

如何根據梯度下降法來調節權重：

                                                           New\, w_{j\cdot k} = Old\, w_{j\cdot k} - \alpha \cdot \frac{\varphi E}{\varphi w_{j\cdot k}}     

其中： New\, W_{j\cdot k}是更新後的權重； Old\, W_{j\cdot k}

是更新前的權重；\alpha是學習率；\frac{\varphi E}{\varphi w_{j\cdot k}}是斜率代表誤差值和權重的比值

                                                         \alpha \cdot \frac{\varphi E}{\varphi w_{j\cdot k}} = \alpha \cdot E_{k}\cdot O_{k}(1 - O_{k})\cdot O_{j }^{\tau} 

其中：E_{k}是output層第k個節點的誤差值，E_{k} = t_{k} - o_{k},t_{k}是目標值，O_{k}是實際值

          O_{k}是output層輸出的實際值

          O_{j }^{\tau}是前一層的輸出的轉置

誤差與權重的比值(也叫梯度)推導

  • 誤差值 = 目標值 - 實際值，有下面三種選擇
  • 誤差值 = 目標值 - 實際值
  • 誤差值 = |目標值 - 實際值|
  • 誤差值 = (目標值 - 實際值)的平方，一般我們選擇這個，因為使用平方誤差，我們可以很容易的使用代數計算出梯度下降的斜率；誤差函式平滑連續，這使得梯度下降法很好的發揮了作用-沒有間斷，也沒有突然地跳躍；越接近最小值，梯度越小這意味著，如果我們使用了這個函式調節步長，超調的風險就會變得較小。

                            \frac{\varphi E}{\varphi w_{j\cdot k}} = \frac{\varphi \sum _{n}(t_{n} - o_{n})^{2}}{\varphi w_{j\cdot k}}      E_{k}是output層第k個節點的誤差值，E_{k} = t_{k} - o_{k},t_{k}是目標值，O_{k}是實際值

由於節點的輸出只取決於所連線的連結，就是取決於連結權重，這意味著誤差函式根本就不需要對所有輸出節點求和，便得到下式：                                  \frac{\varphi E}{\varphi w_{j\cdot k}} = \frac{\varphi \left ( t_{k} - o_{k} \right )^{2}}{\varphi w_{j\cdot k}} = -2\left ( t_{k} - o_{k} \right ) \cdot \frac{\varphi o_{k}}{\varphi w_{j\cdot k}}             t_{k}是一個常數

其中：o_{k} = \frac{1}{1 + e^{-\sum_{3}^{j=1}\left ( w_{j\cdot k} \cdot \frac{1}{1+e^{-\sum_{3}^{i=1}\left ( w_{i\cdot j} \cdot x_{i} \right )}}\right )}} = sigmoid\left ( \Sigma_{j} \cdot o_{j} \cdot w_{j\cdot k} \right )       也就是3層神經網路的輸出值

                                        \frac{\varphi sigmoid\left ( x \right )}{\varphi x} = sigmoid\left ( x \right )\left ( 1-sigmoid\left ( x \right ) \right )

\frac{\varphi E}{\varphi w_{j\cdot k}} = \frac{\varphi \left ( t_{k} - o_{k} \right )^{2}}{\varphi w_{j\cdot k}} = -2\left ( t_{k} - o_{k} \right ) \cdot \frac{\varphi o_{k}}{\varphi w_{j\cdot k}} = -2\left ( t_{k} - o_{k} \right ) \cdot \frac{\varphi sigmoid\left ( \Sigma_{j} \cdot w_{j\cdot k} \cdot o_{j}\right )}{\varphi w_{j\cdot k}} = -2\left ( t_{k} - o_{k} \right ) \cdot sigmoid\left ( \Sigma_{j} \cdot w_{j\cdot k} \cdot o_{j} \right )\left ( 1- sigmoid(\Sigma_{j} \cdot w_{j\cdot k} \cdot o_{j} \right)) \cdot \frac{\varphi \left ( \Sigma_{j} \cdot w_{j\cdot k} \cdot o_{j} \right )}{\varphi w_{j\cdot k}}

所以：

\fn_phv \frac{\varphi E}{\varphi w_{j\cdot k}} = = -2\left ( t_{k} - o_{k} \right ) \cdot sigmoid\left ( \Sigma_{j} \cdot w_{j\cdot k} \cdot o_{j} \right )\left ( 1- sigmoid\left ( \Sigma_{j} \cdot w_{j\cdot k} \cdot o_{j} \right) \right ) \cdot o_{j} = E_{k} \cdot o_{k}\left ( 1 - o_{k} \right ) \cdot o_{j }^{\tau}

相關推薦

梯度下降法更新權值理論

使用3層的神經網路(包含輸入層和輸出層)來演示是如何工作的。 網路：input 3個節點；hidden 3個節點；output 3個節點 引數：input：矩陣是3*1的矩陣；為3*3的矩陣；為3*3的矩陣；output：矩陣為3*1的矩陣 計算hidden層節點的矩陣

神經網路例程-梯度下降法更新權值

以下程式碼來自Deep Learning for Computer Vision with Python第九章。 一、梯度下降法（Gradient Decent） # import the necessary packages from sklearn.model_s

Tensorflow中梯度下降法更新引數值

tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)TensorFlow經過使用梯度下降法對損失函式中的變數進行修改值，預設修改tf.Variable(tf.zeros([784,10]))為Varia

為什麼在神經網路裡面使用梯度下降法對模型的權值矩陣進行調整

我們都知道，神經網路是先將模型引數的調整問題轉換為一個求某個損失函式的極小值問題，然後通過梯度下降演算法讓引數選擇合適的值使得該損失函式取得極小值。那麼為什麼梯度下降演算法可以完成這個任務呢？ 假設一個

梯度下降法中，為什麼在負梯度方向函式值下降最快

以下內容整理於高數課本以及李巨集毅老師的視訊： 我們想要利用梯度下降來求得損失函式的最小值。也就是每次我們更新引數，當前的損失函式總比上一次要小。 假設只有兩個引數θ1和θ2，上圖是損失函式的等值線，紅色點是初始值當前的狀態。以紅色點為圓心畫圓，在這個圓的範圍內，我們想要找到

【python學習筆記】13：用梯度下降法求解最優值問題

梯度是函式在某點沿每個座標的偏導數構成的向量，它反映了函式沿著哪個方向增加得最快。因此要求解一個二元函式的極小值，只要沿著梯度的反方向走，直到函式值的變化滿足精度即可。 這裡打表儲存了途徑的每個點，最後在圖上繪製出來以反映路徑。 *梯度下降的具體實現 impor

高斯混合模型（GMM model）以及梯度下降法（gradient descent）更新引數

關於GMM模型的資料和 EM 引數估算的資料，網上已經有很多了，今天想談的是GMM的協方差矩陣的分析、GMM的引數更新方法 1、GMM協方差矩陣的物理含義 涉及到每個元素，是這樣求算： 用中文來描述就是： 注意後面的那個除以（樣本數-1），就是大括號外面的E求期望　（這叫

梯度下降法求函式最小值 基於matlab實現

演算法原理 梯度下降法是一個最優化演算法，可以用來求一個函式的最小值，最大值等，也常用於人工神經網路中更新各個感知器之間的權值，求出cost function的最小值等，應用廣泛。 其原理簡單，就求函式的最小值這個應用而言，大致說來就是先求出該函式梯度，大家

對數幾率回歸法（梯度下降法，隨機梯度下降與牛頓法）與線性判別法(LDA)

3.1 初始 屬性 author alt closed sta lose cnblogs 　　本文主要使用了對數幾率回歸法與線性判別法（ＬＤＡ）對數據集（西瓜３.０）進行分類。其中在對數幾率回歸法中，求解最優權重Ｗ時，分別使用梯度下降法，隨機梯度下降與牛頓法。 代碼如下：

批量梯度下降法（Batch Gradient Descent）

所有 margin 初始 ont 模型 log eight 梯度下降 img 批量梯度下降：在梯度下降的每一步中都用到了所有的訓練樣本。 思想：找能使代價函數減小最大的下降方向（梯度方向）。 　　　　ΔΘ = - α▽J α：學習速率 梯度下降的線性回歸 　　

機器學習之梯度下降法

梯度 學習 模型 最快 參數 nbsp 函數 bsp 每一個 在吳恩達的機器學習課程中，講了一個模型，如何求得一個參數令錯誤函數值的最小，這裏運用梯度下降法來求得參數。 首先任意選取一個θ 令這個θ變化，怎麽變化呢，怎麽讓函數值變化的快，變化的小怎麽變化，那麽函數值怎麽才能

常見的幾種最優化方法（梯度下降法、牛頓法、擬牛頓法、共軛梯度法等）

linear 樣本 計算 每次 理學 系統 是否 底部 有效 我們每個人都會在我們的生活或者工作中遇到各種各樣的最優化問題，比如每個企業和個人都要考慮的一個問題“在一定成本下，如何使利潤最大化”等。最優化方法是一種數學方法，它是研究在給定約束之下如何尋求某些因素(的量)，以

解梯度下降法的三種形式BGD、SGD以及MBGD

有一個 lis 一行 pri mbg 網絡 () 次數 pen 原帖地址：https://zhuanlan.zhihu.com/p/25765735           在應用機器學習算法時

（轉）梯度下降法及其Python實現

radi 減少 fill 叠代 bbs 方法 風險 ews 展示 梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解無約束最優化問題最常用的方法，它是一種叠代方法，每一步主要的操作是求解目標函數的梯度向量，將當前位置的負

Hulu機器學習問題與解答系列 | 二十四：隨機梯度下降法

叠代 -s nbsp xib 大量 步長 空間 圖片 ges Hulu優秀的作者們每天和公式抗爭，只為提升你們的技能，感動的話就把文章看完，然後哭一個吧。 今天的內容是 【隨機梯度下降法】 場景描述 深度學習得以在近幾年迅速占領工業界和學術界的高地，重要原因之一是數

谷歌機器學習速成課程---降低損失 (Reducing Loss)：隨機梯度下降法

計算 機器 OS 隨機梯度下降法 術語表 表示 機器學習 放心 使用 在梯度下降法中，批量指的是用於在單次叠代中計算梯度的樣本總數。到目前為止，我們一直假定批量是指整個數據集。就 Google 的規模而言，數據集通常包含數十億甚至數千億個樣本。此外，Google 數據集通常

（3）梯度下降法Gradient Descent

作用 http 方程 優化方法 radi 方法 分享 移動 最優解 梯度下降法 不是一個機器學習算法 是一種基於搜索的最優化方法 作用：最小化一個損失函數 梯度上升法：最大化一個效用函數 舉個栗子 直線方程：導數代表斜率 曲線方程：導數代表切線斜率 導數可以代表方

tensorflow實現svm多分類 iris 3分類——本質上在使用梯度下降法求解線性回歸（loss是定制的而已）

points near plot asi atm lob put matplot ive # Multi-class (Nonlinear) SVM Example # # This function wll illustrate how to # implement

[機器學習]—梯度下降法

隨機 如果 des 遞歸 數據 span .html aik 影響 機器學習中往往需要刻畫模型與真實值之間的誤差，即損失函數，通過最小化損失函數來獲得最優模型。這個最優化過程常使用梯度下降法完成。在求解損失函數的最小值時，可以通過梯度下降法來一步步的叠代求解，得到最小化的損

梯度下降法的三種形式-BGD、SGD、MBGD

方法 ont -o 設置 求解 最小值 ima 求和 參數 在應用機器學習算法時，我們通常采用梯度下降法來對采用的算法進行訓練。其實，常用的梯度下降法還具體包含有三種不同的形式，它們也各自有著不同的優缺點。 下面我們以線性回歸算法來對三種梯度下降法進行比較。 一般線