2. 程式人生 > >似然函式Likelihood function

似然函式Likelihood function

阿新 • • 發佈：2019-01-09

在數理統計學中，似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。似然函式在統計推斷中有重大作用，如在最大似然估計和費雪資訊之中的應用等等。“似然性”與“或然性”或“概率”意思相近，都是指某種事件發生的可能性，但是在統計學中，“似然性”和“或然性”或“概率”又有明確的區分。概率用於在已知一些引數的情況下，預測接下來的觀測所得到的結果，而似然性則是用於在已知某些觀測所得到的結果時，對有關事物的性質的引數進行估計。

在這種意義上，似然函式可以理解為條件概率的逆反。在已知某個引數B時，事件A會發生的概率寫作：

P(A\mid B)={\frac {P(A,B)}{P(B)}}\!

利用貝葉斯定理，

P(B\mid A)={\frac {P(A\mid B)\;P(B)}{P(A)}}\!


因此，我們可以反過來構造表示似然性的方法：已知有事件A

發生，運用似然函式{\mathbb {L}}(B\mid A)，我們估計引數B的可能性。形式上，似然函式也是一種條件概率函式，但我們關注的變數改變了：

b\mapsto P(A\mid B=b)\!

注意到這裡並不要求似然函式滿足歸一性：\sum _{{b\in {\mathcal {B}}}}P(A\mid B=b)=1。一個似然函式乘以一個正的常數之後仍然是似然函式。對所有\alpha >0，都可以有似然函式：

L(b\mid A)=\alpha \;P(A\mid B=b)\!

例子

兩次投擲都正面朝上時的似然函式

考慮投擲一枚硬幣的實驗。通常來說，已知投出的硬幣正面朝上和反面朝上的概率各自是p_{H}=0.5，便可以知道投擲若干次後出現各種結果的可能性。比如說，投兩次都是正面朝上的概率是0.25。用條件概率表示，就是：

P({\mbox{HH}}\mid p_{H}=0.5)=0.5^{2}=0.25

其中H表示正面朝上。

在統計學中，我們關心的是在已知一系列投擲的結果時，關於硬幣投擲時正面朝上的可能性的資訊。
我們可以建立一個統計模型：假設硬幣投出時會有p_{H}

 的概率正面朝上，而有1-p_{H} 的概率反面朝上。
這時，條件概率可以改寫成似然函式：

L(p_{H}=0.5\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=0.5)=0.25

也就是說，對於取定的似然函式，在觀測到兩次投擲都是正面朝上時，p_{H}=0.5 的似然性是0.25（這並不表示當觀測到兩次正面朝上時p_{H}=0.5 的概率是0.25）。

如果考慮p_{H}=0.6，那麼似然函式的值也會改變。

L(p_{H}=0.6\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=0.6)=0.36
三次投擲中頭兩次正面朝上，第三次反面朝上時的似然函式

注意到似然函式的值變大了。
這說明，如果引數p_{H} 的取值變成0.6的話，結果觀測到連續兩次正面朝上的概率要比假設p_{H}=0.5 時更大。也就是說，引數p_{H} 取成0.6 要比取成0.5 更有說服力，更為“合理”。總之，似然函式的重要性不是它的具體取值，而是當引數變化時函式到底變小還是變大。對同一個似然函式，如果存在一個引數值，使得它的函式值達到最大的話，那麼這個值就是最為“合理”的引數值。

在這個例子中，似然函式實際上等於：

L(p_{H}=\theta \mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=\theta )=\theta ^{2}， 其中0\leq p_{H}\leq 1。

如果取p_{H}=1，那麼似然函式達到最大值1。也就是說，當連續觀測到兩次正面朝上時，假設硬幣投擲時正面朝上的概率為1是最合理的。

類似地，如果觀測到的是三次投擲硬幣，頭兩次正面朝上，第三次反面朝上，那麼似然函式將會是：

L(p_{H}=\theta \mid {\mbox{HHT}})=P({\mbox{HHT}}\mid p_{H}=\theta )=\theta ^{2}(1-\theta )， 其中T表示反面朝上，0\leq p_{H}\leq 1。

這時候，似然函式的最大值將會在p_{H}={\frac {2}{3}}的時候取到。也就是說，當觀測到三次投擲中前兩次正面朝上而後一次反面朝上時，估計硬幣投擲時正面朝上的概率p_{H}={\frac {2}{3}}是最合理的。

應用

最大似然估計

最大似然估計是似然函式最初也是最自然的應用。上文已經提到，似然函式取得最大值表示相應的引數能夠使得統計模型最為合理。從這樣一個想法出發，最大似然估計的做法是：首先選取似然函式（一般是概率密度函式或概率質量函式），整理之後求最大值。實際應用中一般會取似然函式的對數作為求最大值的函式，這樣求出的最大值和直接求最大值得到的結果是相同的。似然函式的最大值不一定唯一，也不一定存在。與矩法估計比較，最大似然估計的精確度較高，資訊損失較少，但計算量較大。

似然比檢驗

似然比檢驗是利用似然函式來檢測某個假設（或限制）是否有效的一種檢驗。一般情況下，要檢測某個附加的引數限制是否是正確的，可以將加入附加限制條件的較複雜模型的似然函式最大值與之前的較簡單模型的似然函式最大值進行比較。如果引數限制是正確的，那麼加入這樣一個引數應當不會造成似然函式最大值的大幅變動。一般使用兩者的比例來進行比較，這個比值是卡方分配。

尼曼-皮爾森引理說明，似然比檢驗是所有具有同等顯著性差異的檢驗中最有統計效力的檢驗。

參考來源

  • Stephen Stigler. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. ISBN 0-674-40340-1.
  • Stephen Stigler. Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. ISBN 0-674-83601-4.
  • Anders Hald. On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. Statistical Science 14 (2). 1999.5: 214–222. Stable URL: http://www.jstor.org/stable/2676741
  • Hald, A. A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. 1998.

相關推薦

似然函式Likelihood function

在數理統計學中，似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。似然函式在統計推斷中有重大作用，如在最大似然估計和費雪資訊之中的應用等等。“似然性”與“或然性”或“概率”意思相近，都是指某種事件發生的可能性，但是在統計學中，“似然性”和“或然性”或“概率

似然函式（Likelihood function）是什麼

上次在尋找線性迴歸最小化函式時，又引出一個新的地雷，一個新的不知道，我們繼續上路，開足馬車繼續尋找“似然函式”，它到底是什麼呢？先來到WIKI上看看定義：In statistics, a likelihood function (often simply the likeli

似然函式（likelihood）、最大似然函式、最小二乘解

在英語語境裡，likelihood 和 probability 的日常使用是可以互換的，都表示對機會 (chance) 的同義替代。但在數學中，probability 這一指代是有嚴格的定義的，即符合柯爾莫果洛夫公理

似然函式

似然函式：似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。當給定輸出x時，關於引數θ的似然函式L(θ|x)（在數值上）等於給定引數θ後變數X的概率： L

熵(Entropy),交叉熵(Cross-Entropy),KL-鬆散度(KL Divergence),似然（Likelihood）

1.介紹： 我們如何去衡量y,y`的接近程度？ 在這裡我們介紹一下一種衡量方式交叉熵（Cross-Entropy），然後說明一下為什麼這種方式適用於分類問題。 2.熵（Entropy）： 熵的概念來自物理中的熱力學，表示熱力學系統中的無序程度，我們說的熵是資訊理論中的熵，表示對不

先驗概率、後驗概率、似然函式與機器學習中概率模型（如邏輯迴歸）的關係理解

看了好多書籍和部落格，講先驗後驗、貝葉斯公式、兩大學派、概率模型、或是邏輯迴歸，講的一個比一個清楚 ，但是聯絡起來卻理解不能   基本概念如下   先驗概率：一個事件發生的概率 \[P(y)\] 後驗概率：一個事件在另一個事件發生條件下的條件概率 \[P(y|x

似然函式和最大似然估計與機器學習中的交叉熵函式之間的關係

關於似然函式和最大似然估計的詳細說明可以看這篇文章：https://blog.csdn.net/zgcr654321/article/details/83382729 二分類情況和多分類情況下的似然函式與最大似然估計： 二分類情況下的似然函式與最大似然估計： 我們知道按照生活中的常識

機器學習儲備（3）：似然函式例子解析

似然函式是個什麼函式，它的意義是什麼？它與概率相比，有什麼不同嗎？ 1、似然函式 似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。 給定輸出 x 時，關於引數 θ 的似然函式 L(θ|x)，在數值上它等於給定引數 θ 後變數 X 的概率： 這個是非常

【機器學習】先驗概率、似然函式、後驗概率、對數似然函式等概念的理解

1）先驗：統計歷史上的經驗而知當下發生的概率； 2）後驗：當下由因及果的概率； 2、網上有個例子說的透徹： 1）先驗——根據若干年的統計（經驗）或者氣候（常識），某地方下雨的概率； 2）似然——看到了某種結果，對產生結果的原因作出假設：是颳風了？還是有烏雲？還是

全面理解似然函式與貝葉斯公式

    不知道你是否看過我之前的文章，如果看了的話，你會認為很爛，然後判斷這篇部落格也是很大程度上是很爛的，如果這樣的，很幸運，那你使用了貝葉斯思維方式來進行思考問題了。     學了這麼多年貝葉斯公式，不是很

先驗概率、似然函式與後驗概率

先驗概率 Prior probability 在貝葉斯統計中，先驗概率分佈，即關於某個變數 p 的概率分佈，是在獲得某些資訊或者依據前，對 p 的不確定性進行猜測。例如， p 可以是搶火車票開始時，搶到某一車次的概率。這是對不確定性（而不是隨機性）賦予一個量化的數值的

先驗分佈，後驗分佈，似然函式

一個例子搞清楚（先驗分佈/後驗分佈/似然估計） preface： 無論是《通訊原理》、《資訊理論》、《通道編碼》還是《概率與統計理論》，或者在現在流行的《模式識別》和《Machine Learning》中總會遇到這麼幾個概念：先驗分佈/後

似然函式與最大似然估計、交叉熵概念與機器學習中的交叉熵函式

文章目錄 似然函式與最大似然估計 似然的概念 似然函式 最大似然估計 伯努利分佈 伯努利分佈下的最大似然估計 高斯分佈 高斯分佈下的最大似然估計 資訊量、熵、相對熵、交叉熵、機器學習中的交

似然函式，最大似然估計 簡單理解

摘抄自維基百科： https://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0 https://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%

DPMM(狄利克雷過程混合模型)淺解和新增似然函式的問題

先說說Dirichlet Process 要了解DP，推薦兩篇文章Redford Neal的Markov Chain Sampling Methods for Dirichlet Process Mixture Models 和 Xiaodong Yu的 Gi

似然函式基本概念

統計學中，似然函式是一種關於統計模型引數的函式。給定輸出x時，關於引數θ的似然函式L(θ|x)（在數值上）等於給定引數θ後變數X的概率： L(θ|x)=P(X=x|θ). 概率描述了已知引數時的隨機變數的輸出結果；似然則用來描述已知隨機變數輸出結果時，未知引數的可能取值

【機器學習】先驗概率、後驗概率、貝葉斯公式、 似然函式

Original url: http://m.blog.csdn.net/article/details?id=49130173 一、先驗概率、後驗概率、貝葉斯公式、 似然函式 在機器學習中，這些概念總會涉及到，但從來沒有真正理解透徹他們之間的聯絡。下面打算好好從

機器學習筆記：最大熵（模型，推導，與似然函式關係的推導，求解）

1、最大熵模型 最大熵原理：最大熵原理認為在學習概率模型時，在所有可能的概率模型中，熵最大的模型是最少的模型。 該原理認為要選擇的概率模型首先得承認已有的現實（約束條件），對未來無偏（即不確定的部分是等可能的）。比如隨機變數取值有A,B,C，另外已知

似然函式與概率密度函式的區別

條件概率密度p(x|θ)p(x|θ)與似然函式p(x;θ)p(x;θ)有著千絲萬縷的關係，兩者所表示的意義不同，但是大多數情況下，兩者數值上是相等的（量綱不等）。而在有些時候，兩者數值又是不等的。 1. 引入 現代估計理論在許多設計用來提取資訊的電子訊號

【聯絡】二項分佈的對數似然函式與交叉熵（cross entropy）損失函式

1. 二項分佈 二項分佈也叫 0-1 分佈，如隨機變數 x 服從二項分佈，關於引數 μ（0≤μ≤1），其值取 1 和取 0 的概率如下： {p(x=1|μ)=μp(x=0|μ)=1−μ 則在 x