本文是根據以下三篇文章整理的LSTM推導過程，公式都源於文章，只是一些比較概念性的東西，要coding的話還要自己去吃透以下文章。

前向傳播：

1、計算三個gate（in, out, forget）的輸入和cell的輸入：

2、計算上述各個gate和cell的啟用值：

3、假定該網路為一個標準的三層結構（如下圖所示），即一個輸入層，一個隱層和一個輸出層。則對於一個輸出單元，我們可以按下述的方式計算它的輸入和啟用值。其中m為所有與該輸出單元連線的單元(包括輸入層的和隱層的)。

4、計算當前時間點對應狀態對input gate和、forget gate以及cell的偏導數。這裡跟CNN不一樣，CNN前向只是求值，沒有傳遞梯度。但對於lstm，由於內部狀態的改變依賴前一時間點的狀態，因此內部狀態的引數也會把錯誤傳遞到網路下一層，因此前向也涉及到梯度傳遞。