2. 程式人生 > >RNN與LSTM原理

RNN與LSTM原理

阿新 • • 發佈：2018-06-30
激活 行操作 lar open 原理 深入 先來 src 結構

下面只是我個人的理解，最近在做關於LSTM的項目，看看還能不能理解的更深入，之後還會根據項目進行更新。如果有錯誤還請多多指教

1. 傳統神經網絡

介紹遞歸神經網絡之前我們可以先看一下傳統神經網絡

技術分享圖片

傳統神經網絡所作的這一系列的組合是對一個數據一個數據進行操作的。假設我們有100個圖像數據，第一個圖像被

opencv後，來到這裏做一系列操作，第二個圖像數據也是如此，後面以此類推。我們發現第一次輸入的圖像數據並不

會對第二次輸入的數據造成影響，每次輸入的數據都是獨立地去組合參數，參數更新之間互不影響。

但在實際任務中，每個數據之間是有關系的，我們希望這個網絡不僅僅是把每個數據走一遍，它還可以考慮之前的信息，

把數據之間的聯系突出出來。這時候RNN(遞歸神經網絡)派上用場了，它可以把前一層的信息利用上去。

2.RNN

技術分享圖片

input層與W1組合後得到一個中間的信息(特征)——當前輸入。那麽之後的輸入要把前面的信息利用上，所以要指定一個W2，

W2是對中間信息的保留，在下次流程就可以利用上了。——即下一次輸入時會結合保留的特征一起作為總特征。

技術分享圖片

展開來看我們發現網絡有兩個輸入，一個是上層保留的信息，一個是當前輸入輸出也有兩個，一個作為下次的輸入信息，另一個

可以直接輸出為結果，不過我們一般都是把最後一個輸出作為結果。

技術分享圖片

　

這樣一看感覺RNN很厲害，可以把之前的所有信息全部記住。但是這只是從理論上來看，實際上它並記不了那麽多信息。

和傳統

神經網絡一樣，它也要反向傳播優化參數，反向傳播就是梯度累乘，這累乘容易出事啊，隨著梯度變小，這可是越乘越小，最後發生

梯度消失現象，那麽參數就無法繼續更新，也就是再往後得到的梯度對整個梯度值幾乎沒有影響。比如說當前時刻為t，在t-4時刻發

生梯度消失，那麽t-4之前也就是t-5,t-6。。。這些狀態都被忽略掉了，也就是說RNN根本沒有及那麽多信息。這個時候我們的LSTM

(長短時記憶網絡)登場了。

3.LSTM

LSTM可以說是RNN的升級版本。

技術分享圖片

RNN只有一個狀態，也就是保存短期的狀態(原因就是梯度消失)，LSTM有兩個狀態，一個是保存短期的狀態，另一個是cell state，

這兩個組合在一起就是保存長期的狀態

技術分享圖片

技術分享圖片

這兩個都是LSTM的結構圖，我個人是看了下面的那幅結構圖才明白了Ct 很多

我們先來看LSTM結構裏都有哪些東西

1. 激活函數

我們先理解激活函數，在整個網路結構裏有兩種激活函數，一個是sigmoid，一個是tanh。sigmoid函數是把信息壓縮為0到1之間的數，

這樣就可以對輸入的信息進行篩選，表示門被打開的程度。tanh函數是把得到的信息進行壓縮處理，起到穩定數值的作用，把值壓縮在

-1到1之間，僅此而已。

2. ft ，it 是過濾器 Ct-1 ，~ct ，Ct 是長期信息，是記憶 ht-1 , ht 是短期信息

Ct-1 * ft 決定了過去記憶Ct-1有多少保留到當前記憶時刻Ct ——遺忘門——更新後的過去記憶

~ct * it 決定了當前時刻網絡輸入Xt 有多少保留到Ct ——輸入門——更新後的當前記憶

LSTM就是在不斷地更新cell state，不斷地更新記憶

RNN與LSTM原理

相關推薦

RNN與LSTM原理

激活 行操作 lar open 原理 深入 先來 src 結構 下面只是我個人的理解，最近在做關於LSTM的項目，看看還能不能理解的更深入，之後還會根據項目進行更新。如果有錯誤還請多多指教 1. 傳統神經網絡 介紹遞歸神經網絡之前我們可以先看一下傳統神經網絡 傳統

RNN 與 LSTM 的原理詳解

本文主要講解了 RNN 和 LSTM 的結構、前饋、反饋的原理，參考了https://www.jianshu.com/p/f3bde26febed/、https://www.jianshu.com/p/9dc9f41f0b29 與 https://blog.csdn.net/zh

【備忘】深度學習實戰專案-利用RNN與LSTM網路原理進行唐詩生成視訊課程

第1章遞迴神經網路原理（RNN）34分鐘4節1-1課程簡介[免費觀看]01:211-2遞迴神經網路（RNN）08:391-3RNN網路細節11:541-4LSTM網路架構12:36第2章RNN手寫字型識別32分鐘3節2-1處理Mnist資料集11:502-2RNN網路模型1

（數據科學學習手劄39）RNN與LSTM基礎內容詳解

連續 添加 方式 定義 翻譯 下一個 BE img 誤差 一、簡介 　　循環神經網絡（recurrent neural network，RNN），是一類專門用於處理序列數據（時間序列、文本語句、語音等）的神經網絡，尤其是可以處理可變長度的序列；在與傳統的時間序列分析進行比較

TensorFlow(十一)：遞歸神經網絡（RNN與LSTM）

如何 style work 收縮 不變 函數 概率 隨著 其他 RNN RNN（Recurrent Neural Networks,循環神經網絡）不僅會學習當前時刻的信息，也會依賴之前的序列信息。由於其特殊的網絡模型結構解決了信息保存的問題。所以RNN對處理時間序列和語言文

RNN與LSTM（反向傳播待補充）

1.RNN 針對問題：訓練樣本是序列資料 模型思想：迴圈反饋 模型特點： （1）隨著序列的推進，前面的隱層將會影響後面的隱層 （2）U、V、W權值共享 （3）每個輸入只與它本身的那條路線建立權連線，不會和別的神經元連線。 模型缺點：梯度消失，無法處理長序列

RNN與LSTM

前言 迴圈神經網路，迴圈神經網路與卷積神經網路有很大的不同。就是有“記憶暫存”功能，可以把過去的輸入內容產生的影響量化後與當前時間輸入一起反應到網路中參與訓練。 RNN理解 個人理解，RNN還是在模仿人類。在模仿人類的學習的過程。根據前言所述，當前輸入

RNN和LSTM原理推導

一、RNN原理 RNN實際上也就是神經網路，它的基本元件（姑且這麼稱它吧）實際上也就是一個最簡單的神經網路（一個input，一個hidden，一個output） 如圖所示 最大的區別就是，對於hiddenLayer來說，它的輸入不再單一的來自input

CNN、RNN與LSTM（轉）

神經網路技術起源於上世紀五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層。輸入的特徵向量通過隱含層變換達到輸出層，在輸出層得到分類結果。早期感知機的推動者是Rosenblatt。（扯一個不相關的：由於計算技術的落後，當時感知器傳

簡易理解RNN與LSTM

總說 這篇主要是如何一步步說明RNN和LSTM的形式的構造，方便對模型有一個更直觀的理解。寫的比較隨意。 RNN 我們知道，卷積是一個輸入，得到一個輸出。但有時候我們想輸出一串，然後得到一串輸出呢？並且是這一串都是相互有關聯的，比如句子翻譯。我們就需要

深度學習基礎：RNN與LSTM

    這一篇主要是想根據Google的Colah的文章《Understanding LSTM Networks》闡述一下什麼是LSTM（Long Short Time Memory）網路。 RNN：Recurrent  or Recursive     RNN可以指代兩種

RNN與LSTM之間的介紹和公式梳理

最近在整理tensorflow，經常用到RNN與lSTM，故整理如下： -RNN：迴圈神經網路(Recurrent Neural Networks) -LSTM：長短時記憶網路（Long Short-Term Memory） 在看這篇文章之前，如果之前沒有

[人工智慧]RNN與LSTM的深度學習 （20180830)

寫在前面 主要是想通過RNN來做一個分析價格的工具，最好是能夠做個預測，預測準確率達到51%即可。因此想試試。 踩坑經驗 1.配置環境的坑 通過前文的安裝環境之後，會遇到各種坑。但是基本上都

RNN，LSTM和GRU和word2vec及embedding等的聯絡與區別解析。

普通的MLP和CNN都沒有事件維度，可以從RNN開始引入了事件維度，這在理解上給我們帶來了一些困難，筆者為了避免遺忘，將這種區別和特點記錄如下。 （沒時間畫圖，就看文字吧，寫的比較簡單。。。） 資料 https://zhuanlan.zhihu.com/p/36455374 這

記憶網路RNN、LSTM與GRU

一般的神經網路輸入和輸出的維度大小都是固定的，針對序列型別（尤其是變長的序列）的輸入或輸出資料束手無策。RNN通過採用具有記憶的隱含層單元解決了序列資料的訓練問題。LSTM、GRU屬於RNN的改進，解決了RNN中梯度消失爆炸的問題，屬於序列資料訓練的常

深度學習與自然語言處理(7)_斯坦福cs224d 語言模型，RNN，LSTM與GRU

說明：本文為斯坦福大學CS224d課程的中文版內容筆記，已得到斯坦福大學課程@Richard Socher教授的授權翻譯與發表 1.語言模型 語言模型用於對特定序列的一系列詞彙的出現概率進行計算。一個長度為m的詞彙序列{w1,…,wm}的聯合概率被表示為

臺灣大學深度學習課程 學習筆記 Lecture 5-1: Gated RNN（LSTM與GRU介紹）

Review RNN 假設現在有3個sequence表示為 x1、x2、x3，設定的初始化向量 h0 ；將 x1 與h0放入function f 中，得到 y1 與 h1，h1是和h0 維度一樣的；把 x2 與 h1 放入與之前一樣的 f 中

機器學習- RNN以及LSTM的原理分析

概述 RNN是遞迴神經網路，它提供了一種解決深度學習的另一個思路，那就是每一步的輸出不僅僅跟當前這一步的輸入有關，而且還跟前面和後面的輸入輸出有關，尤其是在一些NLP的應用中，經常會用到，例如在NLP中，每一個輸出的Word，都跟整個句子的內容都有關係，而不僅僅跟某一個詞有關。LSTM是RNN的一種升級版

寫給程式設計師的機器學習入門 (五) - 遞迴模型 RNN，LSTM 與 GRU

## 遞迴模型的應用場景 在前面的文章中我們看到的多層線性模型能處理的輸入數量是固定的，如果一個模型能接收兩個輸入那麼你就不能給它傳一個或者三個。而有時候我們需要根據數量不一定的輸入來預測輸出，例如文字就是數量不一定的輸入，“這部片非常好看” 有 7 個字，“這部片很無聊” 有 6 個字，如果我們想根據文字

操作系統精髓與設計原理------調度概述

而在 約束 可靠性 關系 理解 負責 能夠 先進先出 之間 前言：操作系統必須為多個進程之間可能有競爭關系的請求分配計算機資源。對處理器而言，可分配的資源是處理器上的執行時間，分配的途徑是“調度”。調度功能必須設計成可以滿足多個目標，包括公平、任何進程都不會產生饑餓、有效的