EM演算法簡介

EM演算法是一種迭代演算法，用於含有隱變數的概率模型引數的極大似然估計，或極大後驗概率估計。EM演算法的每次迭代分為兩步：E步，求期望；M步，求極大。

概率模型有時既含有觀測變數，又含有隱變數或潛在變數，如果概率模型的變數都是觀測變數，那麼給定資料，可以直接用極大似然估計或貝葉斯法估計模型引數。但是當模型含有隱變數時，就不能簡單地使用這種估計方法。EM演算法就是含有隱變數的概率模型引數的極大似然估計法。

EM演算法

觀測資料表示為 $Y=$

( Y 1 , Y 2 … Y n

) T Y=(Y_1, Y_2\dots Y_n)^T ，未觀測資料表示為 $Z=(Z_{}$

1 , Z 2 … Z n ) T Z=(Z_1, Z_2\dots Z_n)^T ，則觀測資料的似然函式為
$P(Y|\theta) = \sum_ZP(Z|\theta)P(Y|Z,\theta)\tag{1}$
考慮求模型引數 $\theta$的對數極大似然估計，即
$\hat{\theta} = arg \max_{\theta} \log P(Y|\theta)\tag{2}$
該問題沒有解析解，只有通過迭代的方法求解。

EM演算法首先選取引數的初值，記作 $\theta^{(0)}$，然後通過如下步驟迭代計算引數的估計值，直至收斂。第 $i$次迭代引數的估計值為 $\theta^{(i)}$。EM演算法的第 $i+1$次迭代如下：

E步： 計算在模型引數 $\theta^{(i)}$下觀測資料 $y_j$的概率。

M步： 計算模型引數的新估計值。

一般地，用 $Y$表示觀測隨機變數的資料， $Z$表示隱隨機變數的資料。 $Y$和 $Z$連在一起稱為完全資料，觀測資料 $Y$又稱為不完全資料。假設給定觀測資料 $Y$，其概率分佈是 $P(Y|\theta)$，其中 $\theta$是需要估計的模型引數；不完全資料 $Y$的似然函式為 $P(Y|\theta)$，對數似然函式 $L(\theta)=\log P(Y|\theta)$；假設 $Y$和 $Z$的聯合概率分佈是 $P(Y,Z|\theta)$，那麼完全資料的對數似然函式為 $\log P(Y,Z|\theta)$。

EM演算法通過迭代求 $L(\theta)=\log P(Y|\theta)$的極大似然估計，每次迭代包含兩步：E步，求期望；M步，求極大化。

演算法1：(EM演算法)

輸入：觀測變數資料 $Y$，隱變數資料 $Z$，聯合分佈 $P(Y,Z|\theta)$，條件分佈 $P(Z|Y,\theta)$；

輸出：模型引數 $\theta$

(1)選擇引數的初值 $\theta^{(0)}$，開始迭代；

(2)E步：記 $\theta^{(i)}$為第 $i$次迭代引數 $\theta$的估計值，在第 $i+1$次迭代的E步，計算
$Q(\theta, \theta^{(i)}) = E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}] = \sum_Z\Big(\log P(Y,Z|\theta)\Big)P(Z|Y,\theta^{(i)}) \tag{3}$
這裡的 $P(Z|Y,\theta^{(i)})$是在給定觀測資料 $Y$和當前的引數估計 $\theta^{(i)}$下隱變數資料 $Z$的條件概率分佈；

(3)M步：求使 $Q(\theta, \theta^{(i)})$極大化的 $\theta$，確定第 $i+1$次迭代的引數估計值為 $\theta^{(i+1)}$

相關推薦