1. 程式人生 > >PRML 第二章 多項式分佈

PRML 第二章 多項式分佈

1.多項分佈的一次事件
隨機變數X有三種取值x1,x2,x3,那麼用一個三維向量表示多項式的取值就是{1,0,0},{0,1,0},{0,0,1}分別代表選中x1,x2,x3,即必須選中一個,同時只能選一個。如果用μk表示xk=1時的概率,那麼對於隨機變數x的取值的概率分佈可以表示為:
這裡寫圖片描述
上面所講的這些其實只是多項分佈的一次事件(或一次觀察),如果有N多次觀察,那麼就需要用多項分佈來描述了。就像伯努利分佈只是描述一次拋硬幣,而二項分佈是描述N次拋硬幣的一樣。
2. N個獨立觀測的似然函式
現在考慮⼀個有N個獨⽴觀測值x1, … , xN的資料集D。對應的似然函式的形式為:
這裡寫圖片描述;
其中mk為觀測到xk = 1的次數。為找到µ的最⼤似然解,我們需要計算µk最⼤化ln p(D | µ),同時限制:
這裡寫圖片描述


因此,可以利用 拉格朗日乘數法來求該函式在有條件情況下的極值。構造拉格朗日乘數得:
這裡寫圖片描述;

因此:這裡寫圖片描述

將上式代入這裡寫圖片描述中得到:這裡寫圖片描述,所以這裡寫圖片描述
3.多項式分佈
我們可以考慮m1, … , mK在引數µ和觀測總數N條件下的聯合分佈。這個分佈的形式為:
這裡寫圖片描述
其中:這裡寫圖片描述這 被 稱 為 多 項 式 分 布。