一、EM演算法的提出

當你有一組資料像如下這樣：

顯然用單個高斯分佈模型去擬合它們效果不好，這是一個典型的高斯混合模型的例子：

p(X)=∑l=1kαlN(X|μl,Σl)∑l=1kαl=1$$p(X)=\sum _{l=1}^k{\alpha }_{l}N(X|{\mu }_l,{\mathrm{\Sigma }}_l)\sum _{l=1}^k{\alpha }_l=1$$（其中αl可以理解為每一個高斯分布的權重）$$（其中{\alpha }_l可以理解為每一個高斯分布的權重）$$
令 Θ={α1,…,αk,μ1,…,μk,Σ1,…,Σk}$\mathrm{\Theta }=\{{\alpha }_1,\dots ,{\alpha }_k,{\mu }_1,\dots ,{\mu }_k,{\mathrm{\Sigma }}_1,\dots ,{\mathrm{\Sigma }}_k\}$，則有：
ΘMLE=argmaxΘL(Θ|X)=argmaxΘ(∑i=1nlog∑l=1kαlN(X|μl,Σl))(58)(59)$$\begin{array}{}\text{(58)}\end{array}$$

ΘMLE=arg⁡maxΘ⁡L(Θ|X)(59)=arg⁡maxΘ⁡(∑i=1nlog∑l=1kαlN(X|μl,Σl))
該式子包含和（或積分）的對數，不能像單個高斯模型那樣直接求導，再令導數為0來求解。這時我們需要利用 EM 演算法通過迭代逐步近似極大化 L(Θ|X)$L(\mathrm{\Theta }|X)$ 來求解。

二、EM演算法的匯出

先提出 Jensen 不等式：
對於凸函式(convex)，有：

f(t⋅x1+(1−t)⋅x2)≤t⋅f(x1)+(1−t)⋅f(x2)$$f(t\cdot x_1+(1-t)\cdot x_2)\le t\cdot f(x_1)+(1-t)\cdot f(x_2)$$擴充套件到高維，令 ∑ki=1pi=1pi≥0$\sum _{i=1}^k{p}_{}$

i=1pi≥0：
f(p1⋅x1+…+pk⋅xk)≤p1⋅f(x1)+…+pk⋅f(xk)$$f(p_1\cdot x_1+\dots +p_k\cdot x_k)\le p_1\cdot f(x_1)+\dots +p_k\cdot f(x_k)$$