1. 程式人生 > >似然函式

似然函式

似然函式:似然函式是一種關於統計模型中的引數的函式,表示模型引數中的似然性。當給定輸出x時,關於引數θ的似然函式L(θ|x)(在數值上)等於給定引數θ後變數X的概率: L ( θ x ) =

P ( X = x θ ) L(\theta|x)=P(X=x|\theta)

在推斷統計學中,“似然性”與“或然性”或“概率”意思相近,都是指某種事件發生的可能性,但是在統計學中,“似然性”和“或然性”或“概率”又有明確的區分。概率用於在已知一些引數的情況下,預測接下來的觀測所得到的結果,而似然性則是用於在已知某些觀測所得到的結果時,對有關事物的性質的引數進行估計。

離散概率分佈:
假定一個關於引數θ、具有離散型概率分佈P的隨機變數X,則在給定X的輸出x時,引數θ的似然函式可表示為 L (

θ x ) = p θ ( x ) = P θ ( X = x ) L(\theta|x)=p_\theta(x)=P_\theta(X=x) ,其中, p ( x ) p(x) 表示X取x時的概率,上式常常寫為 P ( X = x θ ) P(X=x|\theta) 或者 P ( X = x ; θ ) P(X=x;\theta) , 需要注意的是,此處並非條件概率,因為θ不(總)是隨機變數。

連續型概率分佈
假定一個關於引數θ、具有連續概率密度函式f的隨機變數X,則在給定X的輸出x時,引數θ的似然函式可表示為: L ( θ x ) = f θ ( x ) L(\theta|x)=f_\theta(x) ,上式常常寫為 ,同樣需要注意的是,此處並非條件概率密度函式.

對數似然函式
在使用似然函式時,我們更常使用它的自然對數形式,即“對數似然函式”。這是因為在求解一個函式的極大化往往需要求解該函式的關於未知引數的偏導數。由於對數函式是單調遞增的,而且對數似然函式在極大化求解時較為方便,所以對數似然函式常用在最大似然估計及相關領域中。

例如:求解Gamma分佈中引數的最大似然估計問題,假定服從Gamma分佈的隨機變數 x x 具有兩個引數 α \alpha β \beta ,則似然函式
L ( α ) = β α T ( α ) x α 1 e β x L(\alpha)=\frac{\beta^\alpha}{T(\alpha)}x^{\alpha-1}e^{-\beta x}
如果想從輸出 中估計引數 ,直接求解上式的極大化未免有些難度。在取對數似然函式後,
l o g e L ( α , β x ) = α l o g e β l o g e T ( α ) + ( α 1 ) l o g e x β x log_eL(\alpha,\beta|x)=\alpha log_e\beta-log_eT(\alpha)+(\alpha-1)log_ex-\beta x
再取關於 的偏導數等於0的解,
l o g e L ( α , β x ) β = α β x = 0 \frac{\partial log_eL(\alpha,\beta|x)}{\partial \beta}=\frac{\alpha}{\beta}-x=0
最終獲得 β \beta 的偏導數等於0的解
β M L ^ = α x \hat{\beta_{ML}}=\frac{\alpha}{x}
當存在一組獨立同分布的樣本 x 1 , x 2 x N x_1,x_2···x_N
l o g e L ( α , β x 1 , , x N ) β = N l o g e L ( α , β x N ) β = N a β N x N = 0 \frac{\partial log_eL(\alpha,\beta|x_1,···,x_N)}{\partial \beta}=\sum_N\frac{\partial log_eL(\alpha,\beta|x_N)}{\partial \beta}=\frac{Na}{\beta}-\sum_Nx_N=0
故而
β ^ M L = α x ˉ \hat{\beta}_{ML}=\frac{\alpha}{\bar{x}} ,其中 x ˉ = 1 N N x N \bar{x}=\frac{1}{N}\sum_Nx_N