1.LSTM

    LSTM的基本結構如下圖：

                           ---來源http://binweber.top/2018/02/20/deep_learning_9/

    包含三個門控，一個更新門（輸入門）Γu，一個遺忘門Γf，一個輸出門Γo。

    更新門：將新的資訊選擇性的更新到細胞狀態中。

    遺忘門：將細胞狀態中的資訊選擇性的遺忘。

    輸出門：確定細胞狀態與輸入的哪個部分將輸出出去。

    具體數學表示式為：

    在很多LSTM版本中，幾個門值的計算不只取決於輸入x和a值，有時也可以偷窺上一個細胞輸入的c值，這叫窺視孔連線（Peephole Connection)

2.LSTM的記憶傳遞

                                                                                                                ---來源Andrew Ng深度學習課件

3.LSTM與GRU比較

GRU	LSTM