1. 程式人生 > >機器學習之先驗分佈,後驗分佈,共軛先驗分佈

機器學習之先驗分佈,後驗分佈,共軛先驗分佈

共軛先驗分佈的提出:某觀測資料服從概率分佈p(θ),當觀測到新的資料時,思考下列問題:

1.能否根據新觀測資料X更新引數θ;

2.根據新觀測的資料可以在多大的程度上改變引數θ:θ=θ+rθ;

3.當重新估計得到θ時,給出的新引數數值θ的新概率分佈p(θ|x);

分析:根據貝葉斯公式:p(θ|x)=p(x|θ)p(θ) / p(x),其中p(x|θ)是在已知θ的情況下估計x的概率分佈,又稱似然函式;p(θ)是原有的θ的概率分佈;要想利用觀測到的資料更新引數θ,就要使更新後的p(θ|x)和p(θ)服從相同的分佈,所以p(θ)和p(θ|x)形成共軛分佈,p(θ)叫做p(θ|x)的共軛先驗分佈。

舉個投硬幣的例子:使用引數θ的伯努利模型,θ為正面的概率,則結果為x的概率分佈為:p

(x|θ)=θx(1θ)1-x

伯努利模型的共軛先驗分佈為beta分佈,常見的共軛先驗分佈有:()()Beta(α,β)Γ(k,θ)Γ(k,θ)N(μ,σ2)IGa(α,β)

計算後驗概率p(θ|x)=p(x|θ)p(θ) / p(x)~p(x|θ)p(θ) ~p(x|θ),得到的概率分佈與先驗概率一致,所以最初的目標“能否根據新觀測資料X更新引數θ”可以成立。

θbonvli (x+11)θ(x+11)θ(x+11)