機器學習之先驗分佈,後驗分佈,共軛先驗分佈
阿新 • • 發佈:2019-01-01
共軛先驗分佈的提出:某觀測資料服從概率分佈p(θ),當觀測到新的資料時,思考下列問題:
1.能否根據新觀測資料X更新引數θ;
2.根據新觀測的資料可以在多大的程度上改變引數θ:θ=θ+rθ;
3.當重新估計得到θ時,給出的新引數數值θ的新概率分佈p(θ|x);
分析:根據貝葉斯公式:p(θ|x)=p(x|θ)p(θ) / p(x),其中p(x|θ)是在已知θ的情況下估計x的概率分佈,又稱似然函式;p(θ)是原有的θ的概率分佈;要想利用觀測到的資料更新引數θ,就要使更新後的p(θ|x)和p(θ)服從相同的分佈,所以p(θ)和p(θ|x)形成共軛分佈,p(θ)叫做p(θ|x)的共軛先驗分佈。
舉個投硬幣的例子:使用引數θ的伯努利模型,θ為正面的概率,則結果為x的概率分佈為:p (x|θ)=θx(1−θ)1-x
計算後驗概率p(θ|x)=p(x|θ)p(θ) / p(x)~p(x|θ)p(θ) ~p(x|θ),得到的概率分佈與先驗概率一致,所以最初的目標“能否根據新觀測資料X更新引數θ”可以成立。
θbonvli (x+1−1)θ(x+1−1)θ(x+1−1)