今天的內容是基於 LSTM 建立一個語言模型

人每次思考時不會從頭開始，而是保留之前思考的一些結果，為現在的決策提供支援。RNN 的最大特點是可以利用之前的資訊，即模擬一定的記憶，具體可以看我之前寫過的這篇文章：
詳解迴圈神經網路(Recurrent Neural Network)
http://www.jianshu.com/p/39a99c88a565

RNN 雖然可以處理整個時間序列資訊，但是它記憶最深的還是最後輸入的一些訊號，而之前的訊號的強度就會越來越低，起到的作用會比較小。
而 LSTM 可以改善長距離依賴的問題，不需要特別複雜的除錯超引數就可以記住長期的資訊。關於 LSTM 可以看這一篇文章：
詳解 LSTM

今天要實現一個語言模型，它是 NLP 中比較重要的一部分，給上文的語境後，可以預測下一個單詞出現的概率。

首先下載 ptb 資料集，有一萬個不同的單詞，有句尾的標記，並且將罕見的詞彙統一處理成特殊字元；

PTBInput，
定義語言模型處理輸入資料的一些引數，包括 LSTM 的展開步數 num_steps，用 reader.ptb_producer 讀取資料和標籤：

PTBModel，
def __init__(self, is_training, config, input_) 包括三個引數，訓練標記，配置引數以及輸入資料的例項;
把這幾個變數讀取到本地，hidden_size

def lstm_cell()，設定基本的 LSTM 單元，用的是 tf.contrib.rnn.BasicLSTMCell；
如果 if is_training and config.keep_prob < 1 這個條件的話，在 LSTM 單元后面可以加一個 dropout 層；
再用 tf.contrib.rnn.MultiRNNCell 把多層的 LSTM 堆加到一起；
用 cell.zero_state 將 LSTM 的初始狀態設定為0；

接下來是 embedding 矩陣，行數是詞彙表的大小，列數是每個單詞的向量表達的維度，在訓練過程中，它可以被優化和更新；

接下來我們要定義輸出，限制一下反向傳播時可以展開的步數，將 inputs 和 state 傳到 LSTM，然後把輸出結果新增到 outputs 的列表裡；

然後將輸出的內容串到一起，接下來 softmax 層，接著要定義損失函式 loss，它的定義形式是這樣的：

然後我們要加和整個 batch 的誤差，再平均到每個樣本的誤差，並且保留最終的狀態，如果不是訓練狀態就直接返回；

接下來是定義學習速率，根據前面的 cost 計算一下梯度，並將梯度的最大範數設定好，相當於正則化的作用，可以防止梯度爆炸；

這個學習速率還可以更新，將其傳入給 _new_lr，再執行 _lr_update 完成修改：

接下來可以定義幾種不同大小的模型的引數，其中有學習速率，還有梯度的最大範數，還是 LSTM 的層數，反向傳播的步數，隱含層節點數，dropout 保留節點的比例，學習速率的衰減速度：

run_epoch，是定義訓練一個 epoch 資料的函式，首先初始化 costs 還有 iters，state；
將 LSTM 的所有 state 加入到 feed_dict 中，然後會生成結果的字典表 fetches，其中會有 cost 和 final_state；
每完成 10% 的 epoch 就顯示一次結果，包括 epoch 的進度，perplexity（是cost 的自然常數指數，這個指標越低，表示預測越好），還有訓練速度（單詞數每秒）：

在 main() 中：
用 reader.ptb_raw_data 讀取解壓後的資料；
得到 train_data, valid_data, test_data 資料集；

用 PTBInput 和 PTBModel 分別定義用來訓練的模型 m，驗證的模型 mvalid，測試的模型 mtest；

m.assign_lr 對 m 應用累計的 learning rate；

每個迴圈內執行一個 epoch 的訓練和驗證，輸出 Learning rate，Train Perplexity， Valid Perplexity。