數學篇----引數估計之最大似然估計法[概率論]
前言
引數估計問題分:點估計、區間估計。
點估計是適當地選擇一個統計量作為未知引數的估計(稱為估計量),若已取得一樣本,將樣本值代入估計量,得到估計量的值,以估計量的值作為未知引數的近似值(稱為估計值)。(另一種解釋:依據樣本估計總體分佈中所含的未知引數或未知引數的函式。)
有很多求點估計的方法:最大似然估計法、矩估計法、最小二乘法、貝葉斯估計法。重點就是最大似然法。
最大似然估計法的基本思想:若已觀察到樣本(X1,X2,··· ,Xn)的樣本值(x1,x2,...,xn),而取得這一樣本值得概率為p(在離散型的情況),或(X1,X2,··· ,Xn)落在這一樣本值(x1,x2,...,xn)的鄰域內的概率為p(在連續型的情況),而p與未知引數有關,我們就取θ的估計值使概率p取得最大。
說說區間估計,因為點估計不能反映估計的精度,所有才用。
1 基本概念
似然:可以理解為“可能性”,這樣就有“概率”的意思了。
符號:θ可能取值的範圍。
符號:在不致混淆的情況下統稱估計量和估計值為估計,記為。
估計量:
估計值:
注:(X1,X2,··· ,Xn)是一個樣本,(x1,x2,...,xn)是相應的樣本值。
概念如下圖:
2 為什麼叫“最大”
費希爾(R.A.Fisher)的想法:固定樣本觀察值x1,x2,...,xn,在θ取值的可能範圍內挑選使似然函式L(x1,x2,...,xn;θ)達到最大的引數,作為引數θ的估計值。即取使:
為了使似然函式的結果最大,所選的引數θ一定也要大,記為
3 求解過程
會遇到兩類求解:總體X是連續型,總體X是離散型。但是差不多,連續型的求解可以變成離散型的。
已知條件:總體X屬連續型,概率密度 f(x;θ),θ∈。
設X1,X2,··· ,Xn是來自X的一個樣本,則X1,X2,··· ,Xn的聯合密度為:
設x1,x2, ... ,xn是相應於樣本X1,X2,··· ,Xn的一個樣本值,則隨機點(X1,X2,··· ,Xn)落在點(x1,x2, ... ,xn)的領域內的概率近似地為:
,其值隨θ的取值而變化。
與離散型的情況一樣,我們取θ的估計值使概率取得最大值,但因子不隨θ而改變,故只需考慮函式:
的最大值。這裡L(θ)稱為樣本的似然函式。
若,
則稱為θ的最大似然估計值,稱為θ的最大似然估計量。
====================分割性===================================分割性====================================分割性=====================
到這,確定最大似然估計量的問題就歸結為微分學中的求最大值問題。
若 f(x;θ) 關於θ可微,這時可以從下面的方程解得:
因為L(θ)與 lnL(θ) 在同一θ處取得極值,因此,θ的最大似然估計θ也可以從下面的方程解得:
,這個叫對數似然方程。
(我也不太懂大牛們為什麼取對數求解,需要學習。)
附:
其他同學的總結,最大似然估計法的一般步驟:
- 寫出似然函式;
- 對似然函式取對數,並整理;
- 求導數;
- 解似然方程。
參考資料:《概率論與數理統計(第四版)》 浙江大學 盛驟 謝式千 潘承毅 編
內容來自:谷震平的部落格,希望尊重版權,尊重原創。
連結:http://blog.csdn.net/guzhenping