分詞

在做文字挖掘的時候，首先要做的預處理就是分詞。英文單詞天然有空格隔開容易按照空格分詞，但是也有時候需要把多個單詞做為一個分詞，比如一些名詞如“New York”，需要做為一個詞看待。而中文由於沒有空格，分詞就是一個需要專門去解決的問題了。無論是英文還是中文，分詞的原理都是類似的，本文就對文字挖掘時的分詞原理做一個總結。

1. 分詞的基本原理

　　　　現代分詞都是基於統計的分詞，而統計的樣本內容來自於一些標準的語料庫。假如有一個句子：“小明來到荔灣區”，我們期望語料庫統計後分詞的結果是："小明/來到/荔灣/區"，而不是“小明/來到/荔/灣區”。那麼如何做到這一點呢？

　　　　從統計的角度，我們期望"小明/來到/荔灣/區"這個分詞後句子出現的概率要比“小明/來到/荔/灣區”大。如果用數學的語言來說說，如果有一個句子S

S,它有m種分詞選項如下：

A11A12...A1n1A11A12...A1n1A21A22...A2n2A21A22...A2n2........................Am1Am2...AmnmAm1Am2...Amnm

　　　　其中下標nini代表第ii種分詞的詞個數。如果我們從中選擇了最優的第rr種分詞方法，那麼這種分詞方法對應的統計分佈概率應該最大，即：

r=argmaxiP(Ai1,Ai2,...,Aini)r=argmax⏟iP(Ai1,Ai2,...,Aini)

　　　　但是我們的概率分佈P(Ai1,Ai2,...,Aini)P(Ai1,Ai2,...,Aini)

並不好求出來，因為它涉及到nini個分詞的聯合分佈。在NLP中，為了簡化計算，我們通常使用馬爾科夫假設，即每一個分詞出現的概率僅僅和前一個分詞有關，即：

P(Aij|Ai1,Ai2,...,Ai(j−1))=P(Aij|Ai(j−1))P(Aij|Ai1,Ai2,...,Ai(j−1))=P(Aij|Ai(j−1))

　　　　在前面我們講MCMC取樣時，也用到了相同的假設來簡化模型複雜度。使用了馬爾科夫假設，則我們的聯合分佈就好求了，即：

P(Ai1,Ai2,...,Aini)=P(Ai1)P(Ai2|Ai1)P(Ai3|Ai2)...P(Aini|Ai(ni−1))P(Ai1,Ai2,...,Aini)=P(Ai1)P(Ai2|Ai1)P(Ai3|Ai2)...P(Aini|Ai(ni−1))

　　　　而通過我們的標準語料庫，我們可以近似的計算出所有的分詞之間的二元條件概率，比如任意兩個詞

相關推薦