1. 程式人生 > >最大似然估計理解

最大似然估計理解

最大似然估計:Maximum Likelihood Estimation,簡稱MLE;
要理解此概念首先要看下什麼叫貝葉斯公式,如下:
P(θ|D)=P(D|θ)P(θ)P(D)
我們把D看作是樣本,θ看作是這個樣本所服從分佈的引數,那麼上式左側P(θ|D)可理解為:在給定樣本D下,其服從引數為θ的分佈的概率,P(D|θ)可理解為在給定引數θ時,樣本D發生的概率,P(θ)為引數存在的概率,P(D)為樣本發生的概率。
在實際應用中,我們希望從樣本中總結出規律,即得到θ
按照上面的公式,即:求當P(θ)最大時的θ值。
MAX(P(θ|D))=MAX(P(D|θ)P(θ)P(D)),由於P(D)和P(θ

)一定,則上式可簡化為求MAX(P(D|θ)),此即為最大似然估計,其中P(D|θ)即為似然函式。
假設樣本X1,X2...Xn,獨立同分佈於f(x,θ1,θ2...θk),則其似然函式即為X1,X2...Xn的聯合概率分佈:
L(X1X2...Xn)=ni=1f(xi,θ1,θ2...θk)
求似然函式取最大值時的引數,可通過令其二階導數為0得到,通常兩邊先取對數,然後求導。