1. 程式人生 > >Step by Step LSTM Walk Through

Step by Step LSTM Walk Through

1、LSTM的第一步是決定我們要從細胞狀態中扔掉什麼資訊。這個決定是由一個稱為“忘記門層”的sigmoid 層組成。

選擇保持記憶傳遞,還是忘記。

例如:

記憶:語言模型,試圖根據前面所有的單詞來預測下一個單詞。

忘記:擁有當前的主題類別,我們想換新的主題類別,就要忘記當前的主題類別。

2、第二步是決定什麼樣新的資訊我們將儲存在細胞狀態中。這裡麵包含兩部分。

a.首先一個sigmoid 層,叫做輸入門層決定什麼的值我們將會更新。

b. 接著tanh層會建立一個候選向量 C,它可以被新增到狀態當中。

在我們的語言模型的例子中,我們希望把新主題的性別新增到單元格狀態,以替換我們遺忘的舊的。


C
̃