最近感覺對EM演算法有一點遺忘，在表述的時候，還是有一點說不清，於是重新去看了這篇<CS229 Lecture notes>筆記. 於是有了這篇小札.

關於Jensen's inequality不等式:

　　Corollary(推論)：

　　如果函式f(x)為凸函式,那麼在 f(x) 上任意兩點X1,X2所作割線一定在這兩點間的函式圖象的上方，即：

     　　   其中t表示【x1,x2】的位置

        舉例子： 當t=1/2 ;  1/2*f(x1) + 1/2*f(x2) >= f( 1/2*x1 + 1/2*x2 );

     或者我們直接抽象的表示為： E[f(X)] ≥ f(EX) ，其中E表示期望.

那麼這個 Jensen's inequality（Jensen's 不等式在EM演算法中起到什麼作用呢？）這裡我們先不表.

關於極大似然評估(MLE)：

　　假定存在一個樣本集 D= {x1,x2,...,Xm },為M個獨立分佈的樣本. 假設似然函式為: 聯合概率密度函式P(D ; θ) ，其中(P(D ; θ)這種表示相當於P(D),只是存在未知引數θ)

　　我們知道了似然函式之後，將樣本資料展開:

　　　　　　　　　　　　　　 P(D ; θ) = p(x1,x2,...,Xm;θ) = ∏^m

　　我們令 L( Z ) =  ∏^m_i=1  p(xi ; θ) ,如果存在θi 使得 L(θ)最大，我們認為θi為θ的極大似然估計量,同時我們認為θi(x1,x2,...,xm)為樣本集D的極大似然函式估計量

關於求解極大似然函式：

 　　　　　　求使得出現該組樣本的概率最大的θ值。

　　　　        θi = argmax(L(θ)) = argmax(  ∏^m_i=1 p(xi ; θ) 

繼續回到上面的公式： 

　　　　　　L( θ ) =  ∏^m_i=1 p(xi ; θ); 要使得L(θ)最大，那麼對這個公式進一步化解：

　　　　　 等價於：　log( L(θ) ) = log(  ∏^m_i=1  p(xi ; θ) )  =  ∑^m _i=1 P(xi ;θ)  

　　　　　　　(∑^m _i=1 P(xi ;θ))' = d( ∑^m _i=1 P(xi ;θ) ) / d(θ) =0 ; 求導 得 θ的解   　　　　　　　　　  　　　　　　　　　 

關於極大似然求解的步驟：

　　　（1）寫出似然函式；

        （2）對似然函式取對數，並整理；

        （3）求導數；

        （4）解似然方程。

我們先來看文章給出的這樣一個問題：

　　　　 比如我們有一個訓練集合X={ x1 , x2 , .... , Xm};裡面包含M個樣本. 我們希望將模型p(x，z)的引數與訓練集合資料進行擬合，其中的函式-對數似然是:

　　  我們想上面求解極大似然函式一樣來求解這個似然函式：

　　　　　　　　對它進行微分方程，求導    d( L(θ) ) / d( θ ) =0;  ？ 我們很快就發現無法求解，因為存在新的未知變數Z(隱變數)；如何來解釋這個隱變數Z呢？

比如這樣一個例子:  

　　　　　　比如有A,B兩個人比賽隨機打靶，每個人每次打4槍，當命中九環以內，包括九環,是記錄為1，否則記錄為0; 但是由於裁判熬夜玩遊戲，比賽完成是，收集比賽結果時，搞混了靶紙。於是整理出如下結果:

        問A命中九環的概率pa，B命中九環的概率pb?

而這裡的隱變數Z就是人名的順序。

面對這個問題，顯然使用極大似然函式去正面扛困難重重,EM演算法為這個問題，提供了一個很好的思路：

　　　　求解分兩步走：

　　　　　　　　 E step 期望階段：

　　　　　　　　　　　　 先假定，即初始化A,B命中的概率pa0=0.2 , pb0=0.5;

　　　　　　　　            求出8次打靶中，該次打靶的結果是A,B的可能性即概率:

　　　　　　　　　　       第一次打靶：如果是A的打靶結果：  0.2*0.8*0.2*0.2=0.0064

　　　　                                           如果是B的打靶結果:    0.5^4 =0.0625

如此，我們依據極大似然函式，來確定每一輪是誰打的

　　1輪: P(A1)<P(B1), 

由上面這個表，我們在假定的前提下，計算出了A或者B的出現每輪打靶結果的概率；我們可以依據這個結果，進一步計算第i次是A,B打靶的相對概率

  求出8次打靶中，該次打靶的結果是A,B的相對可能性即概率:

　　　　　　　　　　       第一次打靶：如果是A的打靶結果：  0.0064/(0.0064 + 0.0625) =0.0928

　　　　                                           如果是B的打靶結果:    0.0625/(0.0064 + 0.0625) =0.9072

　　　　我們先假定A，B命中的概率pa1,pb1，然後去推到它們比賽的順序，再依據比賽的順序，來計算A,B命中的概率Pa2,pb2. 當pa2,pb2和pa1,pb2結果相差時較大時，

將pa2,pb2代入，繼續推到它們的比賽順序，計算A,B命中的概率