[白話解析] 用水滸傳為例學習條件隨機場
阿新 • • 發佈：2020-03-22
# [白話解析] 用水滸傳為例學習條件隨機場
## 0x00 摘要
本文將盡量使用易懂的方式，儘可能不涉及數學公式，而是從整體的思路上來看，運用感性直覺的思考來解釋條件隨機場。並且用水滸傳為例學習。並且從名著中找了具體應用場景來幫助大家深入這個概念。
在機器學習過程中，會遇到很多晦澀的概念，相關數學公式很多，大家理解起來很有困難。遇到類似情況，我們應該多從直覺角度入手思考，用類別或者舉例來**附會**，這樣往往會有更好的效果。
我在講解論述過程中給自己的要求是：在生活中或者名著中找一個例子，然後用自己的話語闡述出來。
## 0x01 HMM 隱馬爾可夫
首先還是需要大概介紹下HMM和MEMM，這樣才能知道為什麼要引入CRF。
其中HMM在前文[[白話解析\]以水滸傳為例學習隱馬爾可夫模型](https://www.cnblogs.com/rossiXYZ/p/12430955.html)中也詳細介紹。這裡主要講講其推導過程和其缺點。
### 1. HMM 模型
HMM模型中存在兩個假設：一是輸出觀察值之間嚴格獨立，二是狀態的轉移過程中當前狀態只與前一狀態有關(一階馬爾可夫模型)。下面我們就講講這兩個假設是如何應用在推導過程中的。
單樣本樸素貝葉斯分類任務中 (其中 x 是觀測值，y 是隱藏狀態) ：
$$
P(y|x)=\frac{P(x|y)*P(y)}{P(x)}
$$
擴充套件到序列化樣本分類問題任務中為：
$$
P(y_1^n ∣x_1^n)= \frac{P(x_1^n∣y_1^n)∗P(y_1^n)}{P(x_1^n)}
$$
其中n表示的是序列的長度，這就是我們計算某個標籤序列在序列分類中的概率得分。
我們以詞性標註這一序列化分類問題進行後面的講解。對於一個給定的句子x_i^n=(x_1,x_2,...,x_n)，我們的目的是為其找到一個得分最高的標籤序列 (yˆ1,yˆ2,...,yˆn )，則該問題轉化為:
$$
\hat y_1^n = arg_{y_1^n} \ max \frac{P(x_1^n∣y_1^n)∗P(y_1^n)}{P(x_1^n)}
$$
對於同一個句子的標註，分母是相同的，所以該問題可以轉化為:
$$
\hat y_1^n = arg_{y_1^n} \ max P(x_1^n∣y_1^n)∗P(y_1^n)
$$
回憶下聯合分佈的公式
$$
P(X = x \ and \ Y = y) = \ P(Y=y|X=x)P(X=x) = \ P(X=x|Y=y)P(Y=y)
$$
所以上述問題轉化後的公式就是 P(X,Y)。即 HMM 試圖去擬合 X,Y 的聯合分佈 P(X,Y)，所以它是一種生成式模型