EM演算法

1.直觀理解

通俗的理解看出就是EM演算法由於不知道隱變數的分佈，先給出引數的隨機初始值，然後根據引數，去得到隱變數的分佈，然後根據隱變數和觀測變數的共同分佈基於最大似然去重新估計引數，知道引數穩定。

極大似然估計：

L (θ) = \sum_{i} \log p (x_{i}; θ) = \sum_{i} \log (\sum_{j} p (x_{i}, z_{j}; θ))

L (θ) = \sum_{i} \log (\sum_{j} \frac{p (x_{i}, z_{j}; θ)}{Q_{j} (z_{j})} Q_{j} (z_{j}))

= \sum_{i} \log (E_{z_{j} Q_{j} (z_{j})} (\frac{p (x_{i}, z_{j}; θ)}{Q_{j} (z_{j})}))

由於log函式是凹函式，有 $f (E (x)) \geq E (f (x))$ ，則上式可化為：

L (θ) \geq \sum_{i} \sum_{j} Q_{j} (z_{j}) \log \frac{p (x_{i}, z_{j}; θ)}{Q_{j} (z_{j})}

當

\frac{p (x_{i}, z_{j}; θ)}{Q_{j} (z_{j})} = c

(常數)時，取等號。

因此以當前點構造的下界為：

\frac{p (x_{i}, z_{j}; θ)}{Q_{j} (z_{j})} = c

因為

z_{j}

的分佈為

Q_{j}

，同時他們的概率和應為1。

\sum_{j} Q_{j} (z_{j}) = 1

所以，可得：

\sum_{j} \frac{p (x_{i}, z_{j}; θ)}{c} = 1

\sum_{j} p (x_{i}, z_{j}; θ) = p (x_{i}; θ) = c