深入淺出極大似然估計法
之前多次接觸極大似然估計,一直沒有透徹的理解清楚,下午特意抽空查閱資料,整理成一篇較為通俗易懂的博文。
概念
“似然” ( likelihood )可以通俗的理解成 ”像是這樣“ ,意思為 ”事件(觀察資料)發生的可能性“,”極大似然估計“ 就是要找到一個估計值,使得 ”事件發生的可能性“ 最大。
舉個例子
如圖,有兩個外形完全相同的箱子。甲箱中有99個白球1個黑球,乙箱中有99個黑球1個白球。一次試驗,取出的是黑球。 那麼這個黑球最像是從哪個箱子取出的?大多數人都會說,這個黑球最像是從乙箱中取出的,這個推斷符合人們的經驗,即為“最大似然”。
總結來說,最大似然估計 假設模型是確定的,然後利用抽取的樣本結果,反推最大概率導致這樣結果的模型引數值,即:“模型已定,引數未知”。
因此,樣本結果的概率(即事件發生的可能性),是一個帶模型引數的似然函式。最大似然估計法的目標就是最大化似然函式,用最優化演算法求解 導致樣本結果概率最大的引數值。
極大似然估計的描述
極大似然估計中取樣需滿足一個很重要的假設,就是所有的取樣都是獨立同分布的。
首先,假設$ x_1,x_2,…,x_n$為獨立同分布的取樣,θ為模型引數, f 為所使用的模型。因此,產生上述取樣結果的概率可表示為:
由於極大似然估計法中,我們已知的為$ x_1,x_2,…,x_n$,未知為θ,故似然函式定義為:
兩邊取對數,得到對數似然,公式為:
最大似然估計法最常用的為對數平均似然,公式為:
因此最大似然估計法就是 最大化似然函式求引數值,即:
極大似然估計的例子
我們假設已知的模型為正態分佈
,則似然函式為:
兩邊取對數,得對數似然函式為: