HMM模型： 將標註看作馬爾可夫鏈，一階馬爾可夫鏈式針對相鄰標註的關系進行建模，其中每個標記對應一個概率函數。HMM是一種生成模型，定義了聯合概率分布，其中 x 和 y 分別表示觀察序列和相對應的標註序列的隨機變量。為了能夠定義這種聯合概率分布，生成模型需要枚舉出所有可能的觀察序列，這在實際運算過程中很困難，因為我們需要將觀察序列的元素看做是彼此孤立的個體即假設每個元素彼此獨立，任何時刻的觀察結果只依賴於該時刻的狀態。

HMM 模型的這個假設前提在比較小的數據集上是合適的，但實際上在大量真實語料中觀察序列更多的是以一種多重的交互特征形式表現，觀察序列之間廣泛存在長程相關性。在命名實體識別的任務中，由於實體本身結構所具有的復雜性，利用簡單的特征函數往往無法涵蓋所有的特性，這時HMM的假設前提使得它無法使用復雜特征 （無法使用多於一個標記的特征

MaxEnt 模型（最大熵模型）： 可以使用任意的復雜相關特征，在性能上最大熵分類器超過了 Byaes 分類器。但是，作為一種分類器模型，這兩種方法有一個共同的缺點：每個詞都是單獨進行分類的，標記之間的關系無法得到充分利用，具有馬爾可夫鏈的 HMM 模型可以建立標記之間的馬爾可夫關聯性，這是最大熵模型所沒有的。

最大熵模型的優點：首先，最大熵統計模型獲得的是所有滿足約束條件的模型中信息熵極大的模型；其次，最大熵統計模型可以靈活地設置約束條件，通過約束條件的多少可以調節模型對未知數據的適應度和對已知數據的擬合程度；再次，它還能自然地解決統計模型中參數平滑的問題。

最大熵模型的不足：首先，最大熵統計模型中二值化特征只是記錄特征的出現是否

CRF 模型：首先，CRF 在給定了觀察序列的情況下，對整個的序列的聯合概率有一個統一的指數模型。一個比較吸引人的特性是其為一個凸優化問題。其次，條件隨機場模型相比改進的隱馬爾可夫模型可以更好更多的利用待識別文本中所提供的上下文信息以得更好的實驗結果。並且有測試結果表明：在采用相同特征集合的條件下，條件隨機域模型較其他概率模型有更好的性能表現。

CRF 具有很強的推理能力，並且能夠使用復雜、有重疊性和非獨立的特征進行訓練和推理，能夠充分地利用上下文信息

CRF 模型的不足：首先，通過對基於 CRF 的結合多種特征的方法識別英語命名實體的分析，發現在使用 CRF 方法的過程中，特征的選擇和優化是影響結果的關鍵因素，特征選擇問題的好與壞，直接決定了系統性能的高低。其次，訓練模型的時間比 MaxEnt 更長，且獲得的模型很大，在一般的 PC 機上無法運行。

HMM、CRF和MaxEnt區別