開始非監督學習的篇章

（1）K-means 演算法，一個很經典且簡約的非監督學習演算法。演算法過程不再敘述。

K-means演算法的兩個過程：（1）將點分配到相應的類；（2）以均值作為新的類的類中心。實際上反覆的迭代這兩個過程，就是一個座標上升的過程。

初始聚類中心的個數對演算法的效果有不小的影響

（2）高斯混合模型（Gaussian Mixed Model）

資料集中的資料可能存在著多種分佈，或者存在同一分佈但是引數不一致的情況，可以用GMM進行模擬。即假設資料中存在著兩個高斯分佈N1,N2。GMM~p1*N1+p2*N2（利用權值表達最簡單的情況）。注意與高斯判斷分析（GDA，事先知道類標記）不同的是，高斯判別分析預設兩個高斯分佈的協方差矩陣一致，而GMM（不知道類標記）則不這麼認為。

假設GMM存在著兩類高斯分佈，可利用EM演算法進行引數的估計。即目的是估計出每個類的權重p1，p2，高斯分佈的引數miu1,miu2,delta1,delta2。思想與K-means一致，利用初始化的6個引數，計算隱藏變數z的後驗概率；利用該後驗概率更新引數，直到收斂。

（3）EM演算法一般形式

（i）Jensen不等式

若f（x）為凸函式（convex function），則E（f（x））>= f（E（x））。從影象上直觀的理解便是，縱軸的期望大於等於橫軸的期望。

一個推導是：若f（x）為嚴格凸函式（strictly convex），即f‘’（x）大於0。不等式取等號的條件是 x=Ex，即隨機變數為常量。

另一個推論是：若f（x）為凹函式，不等式方向相反。

（ii）EM演算法的具體推導，都有介紹。推導有兩個需要注意的地方：

其一，如何利用Jensen不等式的凹函式形式，構造不等式（即Andrew所說的下界），根據不等式的取等號條件構造比較緊的下界。

其二，通過上一步，可以分析出，在固定其他引數時，如何選取Qi（zi），使引數最大似然。根據sigmaQi（z）=1，結合上一步取等號條件，可得出Qi（z）的選取方式就是根據x即引數sita所得到的後驗概率。

這裡的Qi（zi），我是這麼理解的。在非監督分類中，zi即是該樣本隱藏的類別資訊，而Qi（z）即可以理解為該類別（該分佈）所屬於的分佈，而Qi（zi）即為權重。對於GMM而言，假設GMM包含兩個高斯分佈，那麼Q1（z1）、Q2（z2）即為p1與p2。而Q1（z）與Q2（z）分別表示兩個高斯分佈前面權值的概率分佈，因此sigmaQi（z）應等於1。