1. 程式人生 > >04 EM演算法 - EM演算法收斂證明

04 EM演算法 - EM演算法收斂證明

03 EM演算法 - EM演算法流程和直觀案例

八、EM演算法收斂證明

EM演算法的收斂性只要我們能夠證明對數似然函式的值在迭代的過程中是增加的即可。


問題:

隨機選擇1000名使用者,測量使用者的身高;若樣本中存在男性和女性,身高分別服從高斯分佈N(μ1,σ1)和N(μ2,σ2)的分佈,試估計引數:μ1,σ1,μ2,σ2;

解析:
1、如果明確的知道樣本的情況(即男性和女性資料是分開的),那麼我們使用極大似然估計來估計這個引數值。
2、如果樣本是混合而成的,不能明確的區分開,那麼就沒法直接使用極大似然估計來進行引數的估計。
可以使用EM演算法來估計男女這兩個引數值,即男女這兩個性別就變成了隱含變數。

實際上,EM演算法在某些層面上是在幫助我們做聚類的操作。即幫助我們找到隱含變數的取值。

05 EM演算法 - 高斯混合模型 - GMM