本篇文章主要介紹兩種RNN的隱藏層資訊計算方法GRU（Gated Recurrent Units）和LSTM（Long-Short-Term-Memories），這兩種隱藏層的計算方法通過引入門（Gate） 的機制來解決RNN的梯度消失問題，從而學習到長距離依賴。

這裡說的隱藏層計算方法指的是如何計算下個時刻的隱藏層資訊，標準RNN中計算 方法是：

而LSTM和GRU可以理解為計算ht的另一種方法。

LSTM

這篇文章詳細 地解釋了LSTM各個門的物理含義， 以及LSTM計算隱藏層的方法，這裡簡要的進行總結， 下圖是LSTM網路的示意圖，圖中各個符號的含義參考原文：

某個時刻LSTM計算隱藏層的方法參考下圖：

GRU

GRU可以看成是LSTM的變種，GRU把LSTM中的forget gate和input gate用update gate來替代。 把cell state和隱狀態htht進行合併，在計算當前時刻新資訊的方法和LSTM有所不同。 下圖是GRU更新htht的過程：

 具體更新過程如下