1.BiRNN

    之前提過的RNN結構都是單向的，但實際問題中還存在不僅依賴於之前的序列還依賴於之後的序列進行預測的問題，對於那些問題，就需要使用雙向RNN（Bidirectional RNN， BiRNN），其結構如下圖：

                                    ---來源http://lib.csdn.net/article/deeplearning/45503

    輸入通過不同的隱藏層連線到前向輸入及後向輸入，也就是說前向的引數與後向的引數是不共享的。之後，前向與後向共同作用於結果。

2.DRNN

   RNN有不同的方式可以進行深度擴充套件，花書中就有三種方式進行深度的擴充套件，這裡只對闡述其中一種，如下圖所示。

                                                                                                ---來源Andrew Ng深度學習課件

    直接在每個時間步長上包含多個隱藏層。相比於CNN上百層的網路來說，RNN由於加入時間維度，三層的網路已經很大了。