1. Recurrent Neural Network (RNN)

儘管從多層感知器（MLP）到迴圈神經網路（RNN）的擴充套件看起來微不足道，但是這對於序列的學習具有深遠的意義。迴圈神經網路（RNN）的使用是用來處理序列資料的。在傳統的神經網路中模型中，層與層之間是全連線的，每層之間的節點是無連線的。但是這種普通的神經網路對於很多問題是無能為力的。比如，預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。迴圈神經網路（RNN）指的是一個序列當前的輸出與之前的輸出也有關。具體的表現形式為網路會對前面的資訊進行記憶，儲存在網路的內部狀態中，並應用於當前輸出的計算中，即隱含層之間的節點不再無連線而是有連結的，並且隱含層的輸入不僅包含輸入層的輸出還包含上一時刻隱含層的輸出

。理論上，迴圈神經網路能夠對任何長度的序列資料進行處理，但是在實踐中，為了減低複雜性往往假設當前的狀態只與前面的幾個狀態相關。

下圖展示的是一個典型的迴圈神經網路（RNN）結構。

圖1 迴圈神經網路（RNN）結構

將迴圈神經網路（RNN）視覺化的一種有效方法是考慮將其在時間上進行展開，得到如圖2結構。

圖2 迴圈神經網路（RNN）在時間上展開

圖中展示的是一個在時間上展開的迴圈神經網路（RNN），其包含輸入單元（Input Units）, 輸入集標記為{x0,x1,...,xt−1,xt,xt+1,...}，輸出單元（Output Units），輸出集標記為{y0,y1,...,

yt−1,yt,yt+1,...}，以及隱含單元（Hidden Units），輸出集標記為{s0,s1,...,st−1,st,st+1,...}，這些隱含單元完成了最為主要的工作。圖中，從輸入層連線到隱含層的權值被標記為U，從隱含層到自己的連線權值被標記為W，從隱含層到輸出層的權值被標記為V。注意，在每一個時步的時候同樣的權值被再使用。同時，為了表示清晰，偏置的權值在這裡被忽略。

在迴圈神經網路中（RNN），有一條單向流動的資訊流是從輸入單元到達隱含單元的，與此同時，另一條單向流動的資訊流從隱含單元到達輸出單元。在某些情況下，迴圈神經網路（RNN）會打破後者的限制，引導資訊從輸出單元返回隱含單元，這些被稱為“Back projections”，並且隱含層的輸入還包括上一層隱含層的輸出，即隱含層內的節點是可以自連也可以互連的。

對於圖2網路的計算過程如下：

1) xt 表示第t，t=1, 2, 3, … 步的輸入

2) st 為隱含層第t步的狀態，它是網路的記憶單元。st 根據當前輸入層的輸出和上一步隱含層的輸出進行計算 st=f(Uxt+Wst−1) ，其中f一般為非線性的啟用函式，如tanh或ReLU（後面會用到LSTM），在計算 s0 時，即第一個的隱含狀態，需要用到 st−1，但其並不存在，在現實中一般被設定為0向量。

3) ot 是第t步的輸出，ot=softmax(Vst)

需要注意的是：

隱含層狀態st被認為是網路的記憶單元。st包含了前面所有步的隱含層狀態。而輸出層的ot只與當前步的st有關。在實踐中，為了降低網路的複雜度，往往st只包含前面若干步而不是所有步的隱含層輸出。

在傳統神經網路中，每一個網路層的引數是不共享的。而在迴圈神經網路（RNN）中，每輸入一步，每一層各自都共享引數U,V,W，其反映著迴圈神經網路（RNN）中的每一步都在做相同的事，只是輸入不同。因此，這大大降低了網路中需要學習的引數。具體的說是，將迴圈神經網路（RNN）進行展開，這樣變成了多層的網路，如果這是一個多層的傳統神經網路，那麼xt到st之間的U矩陣與xt+1到st+1之間的U是不同的，而迴圈神經網路（RNN）中的卻是一樣的，同理對於隱含層與隱含層之間的W、隱含層與輸出層之間的V也是一樣的。

圖中每一步都會有輸出，但是每一步都要有輸出並不是必須的。比如，我們需要預測一條語句所表達的情緒，我們僅僅需要關係最後一個單詞輸入後的輸出，而不需要知道每個單詞輸入後的輸出。同理，每步都需要輸入也不是必須的。迴圈神經網路（RNN）的關鍵之處在於隱含層，隱含層能夠捕捉序列的資訊。

最後，對於整個迴圈神經網路（RNN）的計算過程如下：

向前推算（Forward pass）：

對於一個長度為T的輸入x，網路有I個輸入單元，H個隱含單元，K個輸出單元。定義xti為t時刻的第i個輸入，定義atj和btj分別表示為t時刻網路單元j的輸入以及t時刻單元j非線性可微分啟用函式的輸出。對於完整序列的隱含單元我們可以從時間t = 1開始並通過遞迴的呼叫如下公式得到：

與此同時，對於網路的輸出單元也可以通過如下公式計算出：

向後推算（Forward pass）：

如同標準的反向傳播（Backpropagation），通過時間的反向傳播（BPTT）包含對鏈規則的重複應用。具體的說是，對於迴圈網路，目標函式依賴於隱含層的啟用函式（不僅通過其對輸出層的影響，以及其對下一個時步隱含層的影響），也就是：

對於全部的序列δ項能夠從時刻t = T通過遞迴的使用上面的公式計算得到。最後，在每一個時步對於隱含層單元的輸入和輸出的權值是相同的，我們這個序列求和來得到關於每個網路權值的導數。

2. Bi-directional Recurrent Neural Network (BRNN)

如果能像訪問過去的上下文資訊一樣，訪問未來的上下文，這樣對於許多序列標註任務是非常有益的。例如，在最特殊字元分類的時候，如果能像知道這個字母之前的字母一樣，知道將要來的字母，這將非常有幫助。同樣，對於句子中的音素分類也是如此。

然而，由於標準的迴圈神經網路（RNN）在時序上處理序列，他們往往忽略了未來的上下文資訊。一種很顯而易見的解決辦法是在輸入和目標之間新增延遲，進而可以給網路一些時步來加入未來的上下文資訊，也就是加入M時間幀的未來資訊來一起預測輸出。理論上，M可以非常大來捕獲所有未來的可用資訊，但事實上發現如果M過大，預測結果將會變差。這是因為網路把精力都集中記憶大量的輸入資訊，而導致將不同輸入向量的預測知識聯合的建模能力下降。因此，M的大小需要手動來調節。

雙向迴圈神經網路（BRNN）的基本思想是提出每一個訓練序列向前和向後分別是兩個迴圈神經網路（RNN），而且這兩個都連線著一個輸出層。這個結構提供給輸出層輸入序列中每一個點的完整的過去和未來的上下文資訊。下圖展示的是一個沿著時間展開的雙向迴圈神經網路。六個獨特的權值在每一個時步被重複的利用，六個權值分別對應：輸入到向前和向後隱含層（w1, w3），隱含層到隱含層自己（w2, w5），向前和向後隱含層到輸出層（w4, w6）。值得注意的是：向前和向後隱含層之間沒有資訊流，這保證了展開圖是非迴圈的。

圖3 雙向迴圈神經網路（BRNN）在時間上展開

對於整個雙向迴圈神經網路（BRNN）的計算過程如下：

向前推算（Forward pass）：

對於雙向迴圈神經網路（BRNN）的隱含層，向前推算跟單向的迴圈神經網路（RNN）一樣，除了輸入序列對於兩個隱含層是相反方向的，輸出層直到兩個隱含層處理完所有的全部輸入序列才更新：

向後推算（Backward pass）：

雙向迴圈神經網路（BRNN）的向後推算與標準的迴圈神經網路（RNN）通過時間反向傳播相似，除了所有的輸出層δ項首先被計算，然後返回給兩個不同方向的隱含層：

3. Long Short-Term Memory (LSTM)

迴圈神經網路（RNN）在工作時一個重要的優點在於，其能夠在輸入和輸出序列之間的對映過程中利用上下文相關資訊。然而不幸的是，標準的迴圈神經網路（RNN）能夠存取的上下文資訊範圍很有限。這個問題就使得隱含層的輸入對於網路輸出的影響隨著網路環路的不斷遞迴而衰退。因此，為了解決這個問題，長短時記憶（LSTM）結構誕生了。與其說長短時記憶是一種迴圈神經網路，倒不如說是一個加強版的元件被放在了迴圈神經網路中。具體地說，就是把迴圈神經網路中隱含層的小圓圈換成長短時記憶的模組。這個模組的樣子如下圖所示：

圖4 長短時記憶模組

關於這個單元的計算過程如下所示：

向前推算（Forward pass）：

Input Gate:

通過上圖可以觀察有哪些連線了 Input Gate: t 時刻外面的輸入， t-1 時刻隱含單元的輸出， 以及來自 t-1 時刻 Cell 的輸出。 累計求和之後進行啟用函式的計算就是上面兩行式子的含義了。

Forget Gate：

這兩行公式的計算意義跟上一個相同，Forget Gate的輸入來自於t時刻外面的輸入，t-1時刻隱含單元的輸出，以及來自t-1時刻Cell的輸出。

Cells：

這部分有些複雜，Cell的輸入是：t時刻Forget Gate的輸出 * t-1時刻Cell的輸出 + t時刻Input Gate的輸出 * 啟用函式計算（t時刻外面的輸入 + t-1時刻隱含單元的輸出）

Output Gate:

這部分就同樣好理解了：Output Gate的輸入是：t時刻外面的輸入，t-1時刻隱含單元的輸出以及t時刻Cell單元的輸出。

Cell Output:

最後，模組的輸出是t時刻Output Gate的輸出 * t時刻Cell單元的輸出。

向後推算（Forward pass）：

Cell Output:

Output Gate:

Cells：

Forget Gate：

Input Gate: