1.語言模型

2.訓練過程

    將標誌化後的訓練集輸入網路中，如下圖所示：

                                                                                 --來源http://binweber.top/2018/02/20/deep_learning_9/

損失函式為：

3.測試過程

                                                                                                              ---來源Andrew Ng深度學習課件

第一個時間步中輸入的a⟨0⟩和x⟨1⟩為零向量，依據softmax預測出的字典中每一個詞作為第一個詞出現的概率，選取一個詞ŷ ⟨1⟩作為第二個時間步的輸入。後面與此類似。