為了解決引數空間過大的問題，引入了馬爾科夫假設：任意一個詞的出現的概率僅僅與它前面出現的有限的一個或者幾個詞有關。如果一個詞的出現的概率僅於它前面出現的一個詞有關，那麼我們就稱之為bigram model(二元模型)。即

   P(S) = P(W1,W2,W3,…,Wn)=P(W1)P(W2|W1)P(W3|W1,W2)…P(Wn|W1W2…Wn-1)
          ≈P(W1)P(W2|W1)P(W3|W2)…P(Wi)|P(Wi-1)...P(Wn|Wn-1)

 如果一個詞的出現僅依賴於它前面出現的兩個詞，那麼我們就稱之為trigram（三元模型）。

在實踐中用的最多的就是bigram和trigram了，而且效果很不錯。高於四元的用的很少，因為訓練它（求出引數）需要更龐大的語料，而且資料稀疏嚴重，時間複雜度高，精度卻提高的不多。當然，也可以假設一個詞的出現由前面N-1個詞決定，對應的模型稍微複雜些，被稱為N元模型。

5.如何估計條件概率問題

6.在一個語料庫例子

在訓練語料庫中統計序列C(W1 W2…Wn) 出現的次數和C(W1 W2…Wn-1)出現的次數。

 下面我們用bigram舉個例子。假設語料庫總詞數為13,748

P(I want to eat Chinese food)
=P(I)*P(want|I)*P(to|want)*P(eat|to)*P(Chinese|eat)*P(food|Chinese)
=0.25*1087/3437*786/1215*860/3256*19/938*120/213
=0.000154171     

對與 I to Chinese want food eat 的概率遠低於I want to eat Chinese food，所以後者句子結構更合理。

注：P(wang|I)=C(I want)|C(I)=1087/3437                                                                                                                      

網上很多資料中，表1 詞與詞頻和表2 詞序列頻度是沒有的，所以造成文章表意不清。

對於 1).高階語言模型  2).模型的訓練、零概率問題和平滑方法 3).語料庫的選取等問題，《數學之美》中都有詳細講解，在此不再概述。