1、高斯混合模型GMM

是指具有以下概率分佈的模型：

$P\left(y\mathrm{\mid }\theta \right)={\sum }_{}^{}$

k = 1 K α k ϕ ( y ∣ θ k ) P(y|\theta)=\sum\limits_{k=1}^{K}\alpha_k\phi(y|\theta_k)

可以看做是 $K$

K 個單高斯模型的線性組合，其中 $\alpha_k$是第 $k$個單高斯模型的 $\phi(y|\theta_k)=\frac{1}{\sqrt{2\pi}\sigma_k}exp(-\frac{(x-\mu_k)^2}{2\sigma_k^2})$（模型引數 $\theta_k=(\mu_k,\sigma_k)$）的係數，可以認作是權重，滿足 $\sum\limits_{k=1}^{K}\alpha_k=1$。

2、EM演算法應用於GMM

首先介紹EM演算法步驟:

具體內容參考EM演算法比較

假設觀測序列 $y_1,y_2,...,y_n$ 產自以上混合高斯模型，對於某個觀測值 $y_i$可以認為是依概率 $\alpha_k$選擇了第 $k$個分模型 $\phi(y|\theta_k)$。我們做以下標記：

如果 $y_i$來自第 $k$個模型，那麼 $\gamma_{ik}=1$，否則 $\gamma_{ik}=0$。

這個 $\gamma_{ik}$也就是隱變量了，因為我們只知道 $y_i$而不知道它來自哪個模型。
補充：或者這樣理解 $p(z_j=k|y_j;\theta_k)$，同樣是給出了樣本 $y_j$由第 $k$個分模型產生的後驗概率。等價於 $P(\gamma_{jk}=1|y_j,\theta_k)$。所以對前者求期望和對後者求期望是一樣的，接下來使用的是後者（或許前者更容易理解）。

根據EM演算法的E步：假設模型引數已知的情況下求隱含變數Z分別取z1,z2,…的期望，亦即Z分別取z1,z2,…的概率

$w_{jk}\\=E(\gamma_{jk}|y_j,\theta_k)\\=P(\gamma_{jk}=1|y_j,\theta_k)\\=\frac{P(\gamma_{jk}=1,y_j|\theta_k)}{\sum\limits_{k=1}^{K}P(y_j|\gamma_{jk}=1,\theta_k)P(\gamma_{jk}=1|\theta_k)}\\=\frac{P(y_j|\gamma_{jk}=1,\theta_k)P(\gamma_{jk}=1|\theta_k)}{\sum\limits_{k=1}^{K}P(y_j|\gamma_{jk}=1,\theta_k)P(\gamma_{jk}=1|\theta_k)}\\=\frac{\alpha_k\phi(y_j|\theta_k)}{\sum\limits_{k=1}^{K}\alpha_k\phi(y_j|\theta_k)}$

相關推薦