（1）關於EM演算法的另一種理解方式

根據Jensen不等式可以得出 不等式構造要優化的最大似然函式 l（sita）的下界 ， 而每一次的重複E、M步驟，實際上是一個座標上升的過程。E步驟，使Qi（z）最大化，M步驟使引數最大化。這也從另一方面驗證了EM演算法是收斂的。

其實一開始提到的K-means演算法也是EM演算法思想的一個應用，具體來說：

E-Step：給每一個點分配到每一個聚類中心

M-Step：重新計算聚類中心

（2）EM在GMM中的應用

注意約束條件，sigma phi（i） = 1

（3）EM在文字聚類（Text clustering）中的應用（混合樸素貝葉斯）

（4）因子分析模型（factor analysis model）

假設m代表樣本數目，n代表樣本維度，當n>=m時，此時往往不方便構造模型，或構造的模型是存在著問題的。例如當存在只有兩個樣本時，樣本的維度為2，此時假設構造高斯模型，那麼高斯模型的協方差矩陣是奇異的。

因子分析就是為了解決這個問題，實際上其是一個降維的過程，利用因子這個抽象的較低維度的特徵，來表示原有的特徵，從而進行降維。 

假設原有n維隨機變數x，k維潛在變數z（即因子，每一個z（i）~N（0,1）），x（n*1） = u（n*1） + A（n*k）*z（k*1） + sigma（n*1，誤差項）。隨機變數x是潛在變數z通過線性變換、移動加入干擾項所的。

這個變換過程如下：對於隱藏變數z即因子，z（i）服從於標準正態分佈，乘轉換方程，將其對映到x的維度空間；同時加上x的均值u，使其平移到x的中心；最後加上誤差項sigma。

得出[z x ]的聯合分佈後，即可以利用EM演算法進行求解引數。