1. 程式人生 > >最大似然估計(MLE)

最大似然估計(MLE)

概述編輯:
最大似然估計是一種統計方法,它用來求一個樣本集的相關概率密度函式的引數。這個方法最早是遺傳學家以及統計學家羅納德·費雪爵士在1912年至1922年間開始使用的。
“似然”是對likelihood 的一種較為貼近文言文的翻譯,“似然”用現代的中文來說即“可能性”。故而,若稱之為“最大可能性估計”則更加通俗易懂。
最大似然法明確地使用概率模型,其目標是尋找能夠以較高概率產生觀察資料的系統發生樹。最大似然法是一類完全基於統計的系統發生樹重建方法的代表。該方法在每組序列比對中考慮了每個核苷酸替換的概率。
例如,轉換出現的概率大約是顛換的三倍。在一個三條序列的比對中,如果發現其中有一列為一個C,一個T和一個G,我們有理由認為,C和T所在的序列之間的關係很有可能更接近。由於被研究序列的共同祖先序列是未知的,概率的計算變得複雜;又由於可能在一個位點或多個位點發生多次替換,並且不是所有的位點都是相互獨立,概率計算的複雜度進一步加大。儘管如此,還是能用客觀標準來計算每個位點的概率,計算表示序列關係的每棵可能的樹的概率。然後,根據定義,概率總和最大的那棵樹最有可能是反映真實情況的系統發生樹。
原理編輯
給定一個概率分佈D,假定其概率密度函式(連續分佈)或概率聚集函式(離散分佈)為fD,以及一個分佈引數θ,我們可以從這個分佈中抽出一個具有n個值的取樣X1,X2,…,Xn,通過利用fD,我們就能計算出其概率:

但是,我們可能不知道θ的值,儘管我們知道這些取樣資料來自於分佈D。那麼我們如何才能估計出θ呢?一個自然的想法是從這個分佈中抽出一個具有n個值的取樣X1,X2,…,Xn,然後用這些取樣資料來估計θ。
一旦我們獲得,我們就能從中找到一個關於θ的估計。最大似然估計會尋找關於 θ的最可能的值(即,在所有可能的θ取值中,尋找一個值使這個取樣的“可能性”最大化)。這種方法正好同一些其他的估計方法不同,如θ的非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估的θ值。
要在數學上實現最大似然估計法,我們首先要定義可能性:

並且在θ的所有取值上,使這個函式最大化。這個使可能性最大的值即被稱為θ的最大似然估計。
性質編輯
泛函不變性(Functional invariance)
如果 是 θ的一個最大似然估計,那麼α =g(θ)的最大似然估計是 。函式g無需是一個——對映。 [1]
漸近線行為
最大似然估計函式在取樣樣本總數趨於無窮的時候達到最小方差(其證明可見於Cramer-Rao lower bound)。當最大似然估計非偏時,等價的,在極限的情況下我們可以稱其有最小的均方差。對於獨立的觀察來說,最大似然估計函式經常趨於正態分佈。 [1]
偏差
最大似然估計的非偏估計偏差是非常重要的。考慮這樣一個例子,標有1到n的n張票放在一個盒子中。從盒子中隨機抽取票。如果n是未知的話,那麼n的最大似然估計值就是抽出的票上標有的n,儘管其期望值的只有(n + 1) / 2。 為了估計出最高的n值,我們能確定的只能是n值不小於抽出來的票上的值。
自我理解:通過本次學習,我認為這是一個為我們提供便利的計算方法,在我們選出決策樹(在已知各種情況發生概率的基礎上,通過構成決策樹來求取淨現值的期望值大於等於零的概率,評價專案風險,判斷其可行性的決策分析方法,是直觀運用概率分析的一種圖解法)的時候,為我們提供一個最優的道路,更為方便的去進行處理資料,選擇一個最優的解在這裡插入圖片描述