基於Noisy Channel Model和Viterbi演算法的詞性標註問題
給定一個英文語料庫，裡面有很多句子，已經做好了分詞，/前面的是詞，後面的表示該詞的詞性並且每句話由句號分隔，如下圖所示
對於一個句子S，句子中每個詞語\(w_i\)標註了對應的詞性\(z_i\)。現在的問題是，再給定一個句子S‘，生成每個詞\(w'_i\)的詞性\(z'_i\)
也就是要求使得概率\(P(Z|S)\)最大的\(Z\)，由貝葉斯定理可得
\[
\begin{align*}
P(Z|S)&=\frac{P(S|Z)P(Z)}{P(S)}\\
&\propto P(S|Z)·P(Z)\\
&=P(w_1,w_2,...,w_N|z_1,z_2,...,z_N)·P(z_1,z_2,...,z_N)\\
&=\prod_{i=1}^{N}P(w_i|z_i)·P(z_1)P(z_2|z_1)···P(z_N|z_{N-1})\\
&=\prod_{i=1}^{N}P(w_i|z_i)·P(z_1)\prod_{j=2}^NP(z_j|z_{j-1})
\end{align*}
\]
其中，倒數兩行的公式推導過程中，使用瞭如下兩個假設：
- HMM假設，即\(w_i\)僅與\(z_i\)相關，與其它所有單詞或詞性相互獨立。因此\(P(w_1,...,w_N|z_1,...,z_N)\)可化簡為\(\prod_{i=1}^{N}P(w_i|z_i)\)
- 假設Language Model為bigram。因此\(P(z_1,...,z_N)\)可寫成\(P(z_1)P(z_2|z_1)···P(z_N|z_{N-1})\)，即\(P(z_1)\prod_{j=2}^NP(z_j|z_{j-1})\)
由於整個式子存在大量的概率連乘，最終可能導致浮點數下溢，為了避免這種情況，我們可以採用取對數的方法，將乘變加，基於上述思想，式子結果最終轉化為
\[
\begin{align*}
P(Z|S)&=log(\prod_{i=1}^{N}P(w_i|z_i)·P(z_1)\prod_{j=2}^NP(z_j|z_{j-1})\\
&=\sum_{i=1}^Nlog(P(w_i|z_i))+logP(z_1)+\sum_{j=2}^NlogP(z_j|z_{j-1})
\end{align*}
\]
確定引數
最終的概率函式中包含三個可變引數，下面分別解釋其含義
第一個引數：\(A=P(w_i|z_i)\)
引數\(A\)表示，在給定詞性\(z_i\)的情況下，其對應的單詞是\(w_i\)的條件概率，即所有被標記為詞性\(z_i\)的單詞中，單詞\(w_i\)的佔比
\[
P(w_i|z_i)=\frac{詞性為z_i的w_i的數量}{詞性為z_i的單詞總數}
\]
舉例來說，假設現在先給定詞性NN(名詞)，其中對應單詞是apple的概率肯定要高於eat，即\(P(apple|NN)>P(eat|NN)\)
為了後面計算方便，我們把引數\(A\)的取值空間存放在一個N行M列的矩陣中，其中N為語料庫中不同詞性的數量，M為語料庫中不同單詞的數量。矩陣的每一行表示一個詞性，每一列表示一個單詞，矩陣元素\(a_{ij}\)表示在所有詞性為\(i\)的單詞中，單詞\(j\)的佔比（即條件概率），由此可知，同一行中所有所有概率之和為1，即\(\sum_{j=1}^Ma_{ij}=1\)
計算矩陣A很簡單，首先定義一個大小為\(N\times M\)的全0矩陣，然後遍歷語料庫中的每一行單詞/詞性，將矩陣對應中對應的"當前遍歷到的詞性"行和"當前遍歷到的單詞"列位置的數值加1
最後進行歸一化，因為到目前為止矩陣中存的是count，而我們需要的probability，所以用每個元素除以所在行元素之和即可
最終得到的引數\(A\)矩陣的一般形式如下圖所示
第二個引數：\(\pi=P(z_i)\)
引數\(\pi\)表示句首詞性是\(z_i\)的概率，即計算所有在句首的詞性中\(z_i\)的佔比
\[
P(z_i)=\frac{句首詞性是z_i的數量}{句首詞性總數量}
\]
舉例來說，一般句首是NN(名詞)的概率要高於VB(動詞)，即\(P(NN)>P(VB)\)
引數\(\pi\)的取值範圍可以儲存在一個長度為\(N\)的向量中，\(N\)為語料庫中不同詞性的數量。可以推知，此向量的元素之和為1，即\(\sum_{i=1}^NP(i)=1\)
首先用0初始化向量\(\pi\)，長度為\(N\)。然後遍歷語料庫中的每一行單詞/詞性，判斷當前單詞是否在句首，判斷的依據是看前一個單詞是否是句號、感嘆號、問號等終止性標點符號。如果是句首，則取出當前詞性，並將向量中對應"當前遍歷到的詞性"位置的數值加1
最後進行歸一化，用每個元素除以向量所有元素之和，即得到佔比（概率）
第三個引數：\(B=P(z_i|z_{i-1})\)
引數\(B\)表示給定前驅詞性為\(z_{i-1}\)，當前詞性為\(z_i\)的條件概率，即計算在前驅詞性為\(z_{i-1}\)的(前驅詞性,當前詞性)組合對中，當前詞性為\(z_i\)的組合對的佔比
\[
P(z_i|z_{i-1})=\frac{當前詞性為z_{i-1}且前驅詞性為z_i的bigram數量}{前驅詞性為z_i的bigram總數}
\]
舉例來說，對於給定的前驅詞性VB(動詞)，當前詞性為NN(名詞)的概率要高於VB(動詞)，即\(P(NN|VB)>P(VB|VB)\)
引數\(B\)是一個\(N\times N\)的矩陣，\(N\)為語料庫中不同詞性的數量。矩陣的行表示前驅詞性，列表示當前詞性，矩陣元素\(b_{ij}\)表示前驅詞性為\(i\)時，當前詞性為\(j\)的條件概率，由此可知同一行中所有元素之和為1，即\(\sum_{j=1}^Nb_{ij}=1\)
矩陣\(B\)的計算很簡單，首先定義一個大小為\(N\times N\)的全0方陣。然後遍歷語料庫，統計詞性序列的bigram，將方陣中對應的"前驅詞性"行和"當前詞性"列位置的數值加1
最後進行歸一化，用每個元素除以所在行元素之和，即得到所在行佔比（概率）
tag2id, id2tag = {}, {} # tag2id: {"VB":0,...}, id2tag: {0:"VB",...}
word2id, id2word = {}, {}
for line in open('traindata.txt'):
items = line.split('/')
word, tag = items[0], items[1].rstrip() # 去掉換行符
if word not in word2id:
word2id[word] = len(word2id)
id2word[len(id2word)] = word
if tag not in tag2id:
tag2id[tag] = len(tag2id)
id2tag[len(id2tag)] = tag
N = len(tag2id) # number of tags
M = len(word2id) # number of words
print(N, M)
# define pi, A, B
import numpy as np
pi = np.zeros(N) # pi[i] 表示tag i出現在句子開頭的概率, vector
A = np.zeros((N, M)) # A[i][j] 表示給定tag i, 出現word j的概率, matrix
B = np.zeros((N, N)) # B[i][j] 表示前一個是tag i, 後一個是tag j的概率, matrix
pre_tag = -1 # 記錄前一個tag的id
for line in open('traindata.txt'):
items = line.split('/')
wordid, tagid = word2id[items[0]], tag2id[items[1].rstrip()]
if pre_tag == -1: # 這意味著是句子的開始
pi[tagid] += 1
A[tagid][wordid] += 1
pre_tag = tagid
else: # 不是句子開頭
A[tagid][wordid] += 1
B[pre_tag][tagid] += 1
if items[0] == '.':
pre_tag = -1
else:
pre_tag = tagid
# normalize
pi /= sum(pi) # probability
for i in range(N):
A[i] /= sum(A[i])
B[i] /= sum(B[i])計算最優解
通過前面的分析，我們已經確定了三個引數及其取值空間，接下來可以用暴力列舉的方法測試出使得目標函式最大的引數取值，但時間複雜度太高，不建議採用
通過分析，我們發現這是一個最優化問題，而且問題的求解可以分為\(T\)個步驟（\(T\)為測試集的文字長度），每個步驟求解方式相同，符合動態規劃演算法的應用場景
設
\[
score=\sum_{i=1}^TlogP(w_i|z_i)+logP(z_1)+\sum_{j=2}^TlogP(z_j|z_{j-1})
\]
我們的目標是對於給定的文字\(S=w_1w_2...w_T\)，給這\(T\)個單詞分別賦予一個詞性（有\(N\)個可選詞性），使得score的值最大。score的計算過程描述如下
圖中黑點給出了一個示例的標記方案（如同一條路徑）：
- \(w_1\)被標記為\(pos_2\)
- \(w_2\)被標記為\(pos_1\)
- \(w_3\)被標記為\(pos_3\)
- ...
- \(w_T\)被標記為\(pos_T\)
該路徑的score值為
\[
\begin{align*}
score &= logP(w_1|pos_2)+logP(pos_2)\\
&+logP(w_2|pos_1)+logP(pos_1|pos_2)\\
&+logP(w_3|pos_3)+logP(pos_3|pos_1)\\
&+...\\
&+logP(w_T|pos_1)+logP(pos_1|pos_3)
\end{align*}
\]
從上式可以看出，score的求解過程分為\(T\)個步驟，每個步驟有\(N\)種選擇。因為我們可以定義一個\(T\times N\)的二維陣列DP，為了描述的方便，我們假設陣列的下標從0開始，其中元素DP[i][j]表示從第一個單詞開始，當計算到第\(i\)個單詞（第\(i\)步）且將詞性標記為\(j\)時的最優路徑（最大概率）
狀態轉移方程為
\[
\begin{align*}
DP[i][j]=max(&\\
&dp[i-1][0]+logB[0][j]+logA[j][w_i在詞典中的下標],\\
&dp[i-1][1]+logB[1][j]+logA[j][w_i在詞典中的下標],\\
&dp[i-1][2]+logB[2][j]+logA[j][w_i在詞典中的下標],\\
&...\\
&dp[i-1][N-1]+logB[N-1][j]+logA[j][w_i在詞典中的下標],\\
)
\end{align*}
\]
最終答案（最大的概率值），就是max(DP[T-1][0],DP[T-1][1],...,DP[T-1][N-1])。但是光有概率不夠，我們還需要記錄，這個概率是通過怎樣的路徑過來的，這個路徑就是每個詞的詞性。因此我們還需要另外建立一個\(T\times N\)的二維陣列，用於記錄最優的詞性選擇路徑
viterbi演算法部分的程式碼如下
def log(v):
if v == 0:
return np.log(v + 0.0000001)
return np.log(v)
def viterbi(x, pi, A, B):
"""
x: user input string/sentence
pi: initial probability of tags
A: 給定tag，每個單詞出現的概率
B: tag之間的轉移概率
"""
x = [word2id[word] for word in x.split(" ")]
T = len(x)
dp = np.zeros((T, N))
path = np.array([[0 for x in range(N)] for y in range(T)]) # T*N
for j in range(N): # basecase for dp algorithm
dp[0][j] = log(pi[j]) + log(A[j][x[0]])
for i in range(1, T): # every words
for j in range(N): # every tags
dp[i][j] = -9999999
for k in range(N): # 從每個k可以到達j
score = dp[i-1][k] + log(B[k][j]) + log(A[j][x[i]])
if score > dp[i][j]:
dp[i][j] = score
path[i][j] = k
# print best tag sequence
best_seq = [0] * T # best_seq = [1, 5, 0, 3, 55, ...]
# step1: 找出最後一個單詞的詞性
best_seq[T-1] = np.argmax(dp[T-1]) # 求出最大值所在下標
# step2: 通過從後往前的迴圈以此求出每個單詞的詞性
for i in range(T-2, -1, -1):
best_seq[i] = path[i + 1][best_seq[i + 1]]
# step3: print
for i in range(len(best_seq)):
print(id2tag[best_seq[i]])
# Test
x = "Social Security number , passport number and details about the services provided for the payment"
viterbi(x, pi, A, B)