什麼是迴圈神經網路——學習筆記
阿新 • • 發佈：2020-10-15
-
序列模型：以一個句子為例
1迴圈網路：通過帶有自反饋的神經元，能夠處理任意長度的（存在時間關聯性）序列；
將過去的資訊整合起來，輔助處理當前資訊。
-
迴圈網路的結構以及引數
-
迴圈網路的前向傳播的計算
-
簡化表示
-
穿越時間反向傳播（第一幅圖是前向傳播計算損失函式，第二幅圖是後向傳播調整引數）
2型別：固定長度序列到可變長度序列（影象到文字），可變長度序列到固定長度序列（文字到情感），可變長度序列到可變長度序列。
-
迴圈網路舉例（語音識別系統和翻譯系統的基本組成，將語音或者文字識別出來）
3變種：
雙向迴圈神經網路（BRNNs）：結合過去和未來的資訊進行工作，主要用於手寫識別及語音識別領域。由兩個RNN組成，一個前向處理序列資料，一個後向處理序列資料。
編碼-解碼網路結構：可變長度序列到可變長度序列，例如機器翻譯
4深度迴圈網路結構：
RNN一般只是分為三個部分：a. 從輸入層到隱藏層；b.從前一隱藏層到下一隱藏層；c.從隱藏層到輸出層。
實際上還不是深度網路。
5門控迴圈神經網路
解決長期依賴（LTD）問題：關鍵資訊在傳播過程中逐漸被稀釋。（梯度爆炸與梯度消失）
門控迴圈神經網路種類：長短期記憶網路（LSTM），門控（gated）迴圈網路
1長短期記憶網路（LSTM）：輸入為資料的當前時間片段以及前一時間片段隱藏層的輸出
輸入門：選擇重要的
遺忘門：清除不重要的
輸出門：鎖住重要的
2門控（gated）迴圈網路
門控迴圈單元（GRUs）：使用更新門及重置門
