EM演算法之求解三硬幣模型

看了好幾天的EM演算法，還是看的一頭霧水。藉由三硬幣模型，嘗試使用EM演算法。

1、EM演算法流程

1. E步：對完全資料的對數似然函式 $l o g (P (Y, Z | θ))$ 求關於 $P (Z | Y, θ^{(i)})$ 的數學期望。
$E_{Z | Y, θ^{(i)}} [\log (P (Y, Z | θ))]$
其中 $θ^{(i)}$ 是第i次迭代時， $θ$ 的估計值
2. M步：對E步的結果求極值

2、案例：三硬幣模型

假設有3枚硬幣，分別記作A,B,C。這些硬幣正面出現的概率分別是 $π, p, q$

q,進行如下擲硬幣實驗：先擲硬幣A，根據其結果選出硬幣B或C，正面選B，反面選C，然後擲選出的硬幣，擲硬幣的結果，出現正面記作1，反面記作0；獨立重複

n

次實驗，觀測記為

Y = y_{1}, y_{2}, . . ., y_{n}

。

3、EM演算法求解

3.1)符號標記:

$y_{j}$ 為第 $j$ 次實驗的觀測
$Z$ 為隱變數，表示擲硬幣A出現的結果。該變數只有兩個取值0,1
$z_{j}$ 為第 $j$ 次實驗時，擲硬幣A出現的結果，同樣的， $z_{j} = 1$ 表示硬幣A擲出正面
$θ$ 表示引數集合 $π, p, q$
$θ^{(i)}$ 為第 $i$ 次迭代時， $π, p, q$

,p,q的估計值

3.2)E-Step

完全資料的對數似然函式為：

\begin{array}{l} \log (P (Y, Z | θ)) = \log (\prod_{j = 1}^{n} p (y_{j}, z_{j} | θ)) \\ = \sum_{j = 1}^{n} \log (p (y_{j}, z_{j} | θ)) \end{array}

期望為：

\begin{array}{l} E_{Z | Y, θ^{(i)}} [\log (P (Y, Z | θ))] \\ = \sum_{j = 1}^{n} \sum_{z_{j}} [p (z_{j} | y_{j}, θ^{(i)}) \log (p (y_{j}, z_{j} | θ))] \\ = \sum_{j = 1}^{n} \sum_{z_{j}} [p (z_{j} | y_{j}, θ^{(i)}) \log (p (y_{j}, z_{j} | θ))] \\ = \sum_{j = 1}^{n} {\begin{cases} [p (z_{j} = 1 | y_{j}, θ^{(i)}) \log (p (y_{j}, z_{j} = 1 | θ))] \\ + [p (z_{j} = 0 | y_{j}, θ^{(i)}) \log (p (y_{j}, z_{j} = 0 | θ))] \end{cases}} \end{array}

EM演算法之求解三硬幣模型

1、EM演算法流程

2、案例：三硬幣模型

3、EM演算法求解

3.1)符號標記:

3.2)E-Step

EM演算法之求解三硬幣模型

EM演算法之高斯混合模型(二)

EM演算法之高斯混合模型（一）

em算法系列1：python實現三硬幣模型

EM演算法在高斯混合模型中的應用（詳細解釋與求解）

演算法之LOWB三人組之選擇排序

【機器學習】EM演算法在高斯混合模型學習中的應用

EM演算法與高斯混合模型

演算法之（三）和尚挑水問題（回溯法）

演算法之路(三)——BFS

EM演算法之GMM聚類

使用梯度下降演算法來求解線性迴歸模型

R語言：EM演算法和高斯混合模型的R語言實現

EM演算法和高斯混合模型GMM介紹

EM演算法求解混合伯努利模型

非監督學習之混合高斯模型和EM演算法——Andrew Ng機器學習筆記（十）

Andrew Ng機器學習課程筆記（十六）之無監督學習之因子分析模型與EM演算法

斯坦福大學機器學習——EM演算法求解高斯混合模型

MVC系列博客之排球計分（三）模型類的實現

《逐夢旅程 WINDOWS遊戲編程之從零開始》筆記8——載入三維模型&Alpha混合技術&深度測試與Z緩存

EM演算法之求解三硬幣模型

1、EM演算法流程

2、案例：三硬幣模型

3、EM演算法求解

3.1)符號標記:

3.2)E-Step

相關推薦