2. 程式人生 > >深度學習（一）--反向傳播演算法

深度學習（一）--反向傳播演算法

阿新 • • 發佈：2019-01-18


本文從李飛飛的課件cs231n的得到啟發，將關於反向傳播演算法的內容做下總結。

下圖是對深度學習的直觀解釋：

該圖右側表示影象空間，通過幾個分介面將影象空間分成幾個不同的區域，每個區域的影象具有相似的特徵。
左側為卷積神經網路的簡單版，將輸入影象與權重矩陣W想乘，加上偏置項即可得到屬於各個類別的scores，score越大，屬於該類的概率越大。
但是，基本思路是這樣，具體實施的話，需要考慮很多問題：
1. 上述方法雖然能計算出scores，但當scores不滿足我們的期望時（也就是說當前分類器並不是最優），如何去處理？→通過最小化損失函式的方法來找到最優的分類器。
2. 如何去量化損失？
3. 量化損失後，如何將損失最小化？

損失函式的選擇

Multiclass SVM loss

理論推導

{xiyi}i=1N
其中xi is image and yi is integer label
整個資料集上的損失函式如下所示：
L=1N∑iLi(f(xi,W),yi)
Li又如何定義呢？
(1)Li=∑j≠yi{0syi≥sj+1sj−syi+1otherwise(2)=∑j≠yimax(0,sj−syi+
1)
該是的直觀理解：當非目標的score比目標的score大1以上時，認為損失為零，否則，認為損失為 sj−syi+1

Example

假設有一個分類任務：設計一個分類器將三幅影象分類。

給定三幅影象，通過下圖的方法計算出每幅圖對應的scores向量：

每幅圖對應一個scores向量，如下圖所示：

但是據我們觀察，每幅圖對應的scores向量中最大值並非對影象的正確分類，因此，說明目前的分類器(也就是W,b)並不是最優，需要進行優化。
根據上述loss計算公式進行如下計算：
我們計算第三幅影象的scores，因此，i=3,y3=

3,j=1,2

(3)Li=∑j≠yimax(0,sj−syi+1)(4)=max(0,2.2−(−3.1)+1)+max(0,2.5

相關推薦

深度學習（一）--反向傳播演算法

本文從李飛飛的課件cs231n的得到啟發，將關於反向傳播演算法的內容做下總結。 下圖是對深度學習的直觀解釋： 該圖右側表示影象空間，通過幾個分介面將影象空間分成幾個不同的區域，每個區域的影象具有相似的特徵。 左側為卷積神經網路的簡單版，將輸入影

神經網路和深度學習（三）—— 反向傳播工作原理

本文轉自：https://blog.csdn.net/qq_31192383/article/details/77198870 反向傳播演算法工作原理 在上一篇文章，我們看到了神經網路如何通過梯度下降演算法學習，從而改變權重和偏差。但是，前面我們並沒有討論如何計算代價函

深度神經網路（DNN）反向傳播演算法(BP)

　　　　在深度神經網路（DNN）模型與前向傳播演算法中，我們對DNN的模型和前向傳播演算法做了總結，這裡我們更進一步，對DNN的反向傳播演算法（Back Propagation，BP）做一個總結。 1. DNN反向傳播演算法要解決的問題 　　　　在瞭解DNN的反向傳播演算法前，我們先要知道DNN反向傳播演算法

[神經網絡與深度學習（一）]使用神經網絡識別手寫數字

線性 部分 logs 結構 這一 可用 調整 重復 http 1.1 感知器 感知器的輸出為： wj為權重，表示相應輸入對輸出的重要性； threshold為閾值，決定神經元的輸出為0或1。 也可用下式表示： 其中b=-threshold，稱為感知器的偏置

深度學習（一）——deepNN模型實現攝像頭實時識別人臉表情（C++和python3.6混合程式設計）

一、背景介紹 最近需要做人臉識別方向的東西，就被分配了新的任務，利用攝像頭實時檢測人臉表情，並製作成一個小軟體，這裡當然要用C++實現，並用C++做成一個介面。 由於博主之前用python做過類似的小程式，因此這裡的模型實現主要採用了python，為了用C++實現介面，這裡採用C++呼叫py

深度學習 （一）計算機如何處理和識別圖片揭祕

前言        先來一張美景圖，欣賞一下大自然，順便大家猜猜這是哪裡？        有時候真感嘆大自然的雄偉壯闊，自然形成了無數的山和風景不需要任何點綴，有

深度學習（一）深度學習資料

一、學習清單 1、綜合類 2、計算機視覺 3、NLP領域 (3)部落格推薦：http://www.wildml.com/  包含了RNN、LSTM、Attention機制等教程，最主要的是講解的淺顯易懂，讓我等菜鳥受益匪淺

亞馬遜採摘挑戰中6D姿態估計的多檢視自監督深度學習（一）

倉庫自動化近年來引起了人們的極大興趣，也許最引人注目的是亞馬遜採摘挑戰賽（APC）。實現完全自主的取放系統需要強大的視覺系統，可以可靠地識別物體及其6D姿勢。然而，由於雜亂的環境，自我遮擋，感測器噪聲和各種各樣的物體，解決方案避開了倉庫設定。在本文中，我們提出了一個視覺系統，

深度學習（三）——tiny YOLO演算法實現實時目標檢測（tensorflow實現）

一、背景介紹 YOLO演算法全稱You Only Look Once，是Joseph Redmon等人於15年3月發表的一篇文章。本實驗目標為實現YOLO演算法，借鑑了一部分材料，最終實現了輕量級的簡化版YOLO——tiny YOLO，其優勢在於實現簡單，目標檢測迅速。 [1]文章連結：ht

深度學習（一）-CNN原理研究

 https://blog.csdn.net/xiake001/article/details/78403482 基本概念 協方差矩陣 線性與非線性 “線性”=”齊次性”+”可加性”,  “齊次性”是指類似於: f(ax)=af(x),  “可加性”是指類似

DNN網路（二）反向傳播演算法

本文摘自： https://www.cnblogs.com/pinard/p/6422831.html http://www.cnblogs.com/charlotte77/p/5629865.html     一、DNN求解引數的方法 在監督學習中，優化引數的方法 首

深度學習（四）——目標檢測演算法YOLO的訓練和檢測過程的基本思路介紹

      基礎知識掌握情況決定研究的高度，我們剛開始接觸深度學習時，一般都是看到別人的概括，這個方法很好能讓我們快速上手，但是也有一個很大的缺點， 知識理解的不透徹，導致我們對演算法優化時一頭霧水。我也是抱著知識總結的思想開始自己的深度學習知識精髓的探索，也希望能從中幫助到

系統學習深度學習（一） --深度學習與神經網路關係

       假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等於輸入I，即輸入I經過這個系統變化之後沒有任何的資訊損失（呵呵，大牛說，這是不可能的。資訊理論中有個“資訊逐層丟失”

乾貨 | 個性化推薦系統五大研究熱點之深度學習（一）

【編者按】在這個科技高速發展、資訊爆炸的時代，毫不誇張地說，推薦系統已經完全融入了我們的生活。我們去哪一家餐館、買哪一件衣服、瀏覽哪一類資訊、觀看哪一種視訊，很大程度上都取決於背後的推薦系統。 在本文中，微軟亞洲研究院社會計算組的研究員們從深度學習、知識圖譜、強化學習、使用者畫像、可解釋性推薦等五個方面，展望

神經網路和深度學習（一）——初識神經網路

神經網路和深度學習 神經網路：一種可以通過觀測資料使計算機學習的仿生語言範例 深度學習：一組強大的神經網路學習技術 神經網路和深度學習目前提供了針對影象識別，語音識別和自然語言處理領域諸多問題的最佳解決方案。傳統的程式設計方法中，我們告訴計算機如何去做，將

深度學習（一）學會用CAFFE訓練自己的模型

利用caffe訓練手寫圖片資料集 bat批處理命令的書寫 在windows平臺學習caffe必須要學會寫批處理檔案，這樣就減少了在CMD命令列下操作檔案的麻煩。bat檔案類似於Linux下的sh指令碼檔案，作用都是簡化命令列操作，筆者目前主要在win

深度學習（一）深度學習的發展歷史

本次深度學習系列主要從以下幾個方面記錄，主要為CNN相關 另外最後會專留一章講述CNN與計算機視覺中的目標檢測的發展。 ∙發展歷史 ∙基礎結構 ∙損失函式 ∙優化方法 ∙訓練trick 學習任一門知識都應該先從其歷史開始，把握了歷史，也就抓住了現在

深度學習總結（一）各種優化演算法

一.優化演算法介紹 1.批量梯度下降（Batch gradient descent，BGD） θ=θ−η⋅∇θJ(θ) 每迭代一步，都要用到訓練集的所有資料，每次計算出來的梯度求平均 η代表學習率LR 2.隨機梯度下降（Stochas

TensorFlow 深度學習框架 （2）-- 反向傳播優化神經網路

訓練神經網路的過程就是設定神經網路引數的過程，只有經過有效訓練的神經網路模型才可以真正的解決分類問題或迴歸問題。使用監督學習的方式設定神經網路引數需要有一個標註好的訓練資料集。監督學習的最重要的思想是，在已知答案的標註資料集上，模型給出的預測結果要儘可能接近真實的答案。在神經

基本演算法學習（一）—— 排序

排序 一、氣泡排序   演算法思想: 在每一次對比排序中將大的數放在後面，整個排下來後，就變成有序的數列了   演算法實現：       1.（範圍為整個陣列），從前向後兩兩比較，如果前面比後面大就交換位置。第一遍後就將大的放在了最後       2.（縮小範圍），從頭再次重