一、小資料

假設有去除特殊符號的訓練文字trainfile.txt，以及測試文字testfile.txt，那麼訓練一個語言模型以及對其進行評測的步驟如下：

1：詞頻統計

      ngram-count -text trainfile.txt -order 3 -write trainfile.count

      其中-order 3為3-gram，trainfile.count為統計詞頻的文字

2：模型訓練

      ngram-count -read trainfile.count -order 3 -lm trainfile.lm  -interpolate -kndiscount

      其中trainfile.lm為生成的語言模型，-interpolate和-kndiscount為插值與折回引數

3：測試（困惑度計算）

     ngram -ppl testfile.txt -order 3 -lm trainfile.lm -debug 2 > file.ppl

     其中testfile.txt為測試文字，-debug 2為對每一行進行困惑度計算，類似還有-debug 0 , -debug 1, -debug 3等，最後  將困惑度的結果輸出到file.ppl。

二、大資料（BigLM）

對於大文字的語言模型訓練不能使用上面的方法，主要思想是將文字切分，分別計算，然後合併。步驟如下：

1：切分資料

      split -l 10000 trainfile.txt filedir/

      即每10000行資料為一個新文字存到filedir目錄下。

2：對每個文字統計詞頻

      make-bath-counts filepath.txt 1 cat ./counts -order 3

      其中filepath.txt為切分檔案的全路徑，可以用命令實現：ls $(echo $PWD)/* > filepath.txt，將統計的詞頻結果存放在counts目錄下

3：合併counts文字並壓縮

      merge-batch-counts ./counts

      不解釋

4：訓練語言模型

      make-big-lm -read ../counts/*.ngrams.gz -lm ../split.lm -order 3

     用法同ngram-counts

5: 測評（計算困惑度）

    ngram -ppl filepath.txt -order 3 -lm split.lm -debug 2 > file.ppl