[轉]如何理解似然函數
鏈接:https://www.zhihu.com/question/54082000/answer/145495695
來源:知乎
在英語語境裏,likelihood 和 probability 的日常使用是可以互換的,都表示對機會 (chance) 的同義替代。但在數學中,probability 這一指代是有嚴格的定義的,即符合柯爾莫果洛夫公理 (Kolmogorov axioms) 的一種數學對象(換句話說,不是所有的可以用0到1之間的數所表示的對象都能稱為概率),而 likelihood (function) 這一概念是由Fisher提出,他采用這個詞,也是為了凸顯他所要表述的數學對象
先看似然函數的定義,它是給定聯合樣本值下關於(未知)參數 的函數:
這裏的小是指聯合樣本隨機變量取到的值,即;
這裏的是指未知參數,它屬於參數空間;
這裏的是一個密度函數,特別地,它表示(給定)下關於聯合樣本值的聯合密度函數。
所以從定義上,似然函數和密度函數是完全不同的兩個數學對象:前者是關於的函數,後者是關於的函數。所以這裏的等號 理解為函數值形式的相等,而不是兩個函數本身是同一函數(根據函數相等的定義,函數相等當且僅當定義域相等並且對應關系相等)。
說完兩者的區別,再說兩者的聯系。
(1)如果是離散的隨機向量,那麽其概率密度函數可改寫為,即代表了在參數下隨機向量取到值的可能性;並且,如果我們發現
那麽似然函數就反應出這樣一個樸素推測:在參數下隨機向量取到值的可能性大於 在參數下隨機向量取到值的可能性。換句話說,我們更有理由相信(相對於來說)
更有可能是真實值。這裏的可能性由概率來刻畫。
(2)如果是連續的隨機向量,那麽其密度函數本身(如果在連續的話)在處的概率為0,為了方便考慮一維情況:給定一個充分小,那麽隨機變量取值在區間內的概率即為
並且兩個未知參數的情況下做比就能約掉,所以和離散情況下的理解一致,只是此時似然所表達的那種可能性和概率無關。
綜上,概率(密度)表達給定
最後我們再回到這個表達。首先我們嚴格記號,豎線表示條件概率或者條件分布,分號表示把參數隔開。所以這個式子的嚴格書寫方式是因為在右端只當作參數理解。
[轉]如何理解似然函數