概率論中的條件概率-全概率-貝葉斯公式
1、條件概率公式
設A,B是兩個事件,且P(B)>0,則在事件B發生的條件下,事件A發生的條件概率(conditional probability)為:
P(A|B)=P(AB)/P(B)
分析:一般說到條件概率這一概念的時候,事件A和事件B都是同一實驗下的不同的結果集合,事件A和事件B一般是有交集的,若沒有交集(互斥),則條件概率為0,例如:
① 扔骰子,扔出的點數介於[1,3]稱為事件A,扔出的點數介於[2,5]稱為事件B,問:B已經發生的條件下,A發生的概率是多少?
也即,做一次實驗時,即有可能僅發生A,也有可能僅發生B,也有可能AB同時發生,
② 同時扔3個骰子,“三個數都不一樣”稱為事件A,“其中有一個點數為1”稱為事件B。這一題目中,AB也是有交集的。
用圖更能容易的說明上述問題,我們進行某一實驗,某一實驗所有的可能的樣本的結合為Ω(也即窮舉實驗的所有樣本),圓圈A代表事件A所能囊括的所有樣本,圓圈B代表事件B所能囊括的所有樣本。
由圖再來理解一下這個問題:“B已經發生的條件下,A發生的概率”,這句話中,“B已經發生”就相當於已經把樣本的可選範圍限制在了圓圈B中,其實就等價於這句話:“在圓圈B中,A發生的概率”,顯然P(A|B)就等於AB交集中樣本的數目/B的樣本數目。為什麼這裡用的是樣本的數目相除,而上面的公式卻是用的概率相除,原因很簡單,用樣本數目相除時,把分子分母同除以總樣本數,這就變成了概率相除。
2、乘法公式
1.由條件概率公式得:
P(AB)=P(A|B)P(B)=P(B|A)P(A)
上式即為乘法公式;
2.乘法公式的推廣:對於任何正整數n≥2,當P(A1A2...An-1) > 0 時,有:
P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)
3、全概率公式
1. 如果事件組B1,B2,.... 滿足
1.B1,B2....兩兩互斥,即 Bi ∩ Bj = ∅ ,i≠j , i,j=1,2,....,且P(Bi)>0,i=1,2,....;
2.B1∪B2∪....=Ω ,則稱事件組 B1,B2,...是樣本空間Ω的一個劃分
設 B1,B2,...是樣本空間Ω的一個劃分,A為任一事件,則:
已知:各個A∩Bi的樣本數、Bi的樣本數,
求A的樣本數 / 總樣本數Ω?
上圖中,某一實驗所有的可能的樣本的集合為Ω,圓圈A代表事件A所能囊括的所有樣本,把總集合Ω分為n個小集合,依次為B1、B2···Bn,這些小集合兩兩互斥,那麼顯然,A的樣本數目可以通過與Bi的交集來獲得,也即=(A∩B1的樣本數)+(A∩B2的樣本數)+····+(A∩Bn的樣本數)。前文已經說過,樣本數公式和概率公式,本質上是一樣的東西。
4、貝葉斯公式
1.與全概率公式解決的問題相反,貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因(即大事件A已經發生的條件下,分割中的小事件Bi的概率),設B1,B2,...是樣本空間Ω的一個劃分,則對任一事件A(P(A)>0),有
上式即為貝葉斯公式(Bayes formula),Bi 常被視為導致試驗結果A發生的”原因“,P(Bi)(i=1,2,...)表示各種原因發生的可能性大小,故稱先驗概率;P(Bi|A)(i=1,2...)則反映當試驗產生了結果A之後,再對各種原因概率的新認識,故稱後驗概率。
已知:各個A∩Bi的樣本數、Bi的樣本數,
求A∩B3的樣本數 / A的樣本數?
例子:發報臺分別以概率0.6和0.4發出訊號“∪”和“—”。由於通訊系統受到干擾,當發出訊號“∪”時,收報臺分別以概率0.8和0.2受到訊號“∪”和“—”;又當發出訊號“—”時,收報臺分別以概率0.9和0.1收到訊號“—”和“∪”。求當收報臺收到訊號“∪”時,發報臺確係發出“∪”的概率。
解析:貝葉斯這一概念,所探討的問題,也是事件A和事件B都是某一實驗的不同的結果集合,然後把事件B這個結果集合分為n小份,每一小份也是結果集合,只不過這些小集合一定位於B集合內部,每一小份結果集合稱為Bi(i∈[1,n]),Bi之間兩兩互斥,所有Bi並起來就是B。
本例中,實驗為“發一次報,收一次報,然後記錄發、收的字元”,事件A為“收到了U”,事件B為"發出了訊號",事件B1為“發出了U”,事件B2為“發出了—”,顯然這裡B1∪B2=B,B1∩B2=∅。要想求P(B1 | A),根據條件概率公式,P(B1 | A)=P(B1 A)/P(B1),只要分別計算出分子分母就行了,顯然分子可以用上面的乘法公式來求,分母為已知(若分母未知,就得用全概率公式來求)。
貝葉斯公式,根本不用記憶,其實就是條件概率、乘法公式、全概率公式的組合。
總結:(1)以上四個公式的研究物件,都是“同一實驗下的不同的結果集合”
(2)為了容易理解這四個概率公式,可以把用“樣本數目公式”來代替“概率公式”,來求概率。
---------------------
原文:https://blog.csdn.net/qq_31073871/article/details/81077386