1. 程式人生 > 其它 >概率 貝葉斯公式 先驗概率 後驗概率

概率 貝葉斯公式 先驗概率 後驗概率

先驗概率,後驗概率,似然概率,條件概率,貝葉斯,最大似然
總是搞混,這裡總結一下常規的叫法:

 

先驗概率:

事件發生前的預判概率。可以是基於歷史資料的統計,可以由背景常識得出,也可以是人的主觀觀點給出。一般都是單獨事件概率,如P(x),P(y)。

後驗概率:

事件發生後求的反向條件概率;或者說,基於先驗概率求得的反向條件概率。概率形式與條件概率相同。

條件概率:

一個事件發生後另一個事件發生的概率。一般的形式為P(x|y)表示y發生的條件下x發生的概率。P(A|B) 事件B已經發生的情況下,事件A發生的條件概率 =P(AB)/P(B)

 

後驗概率就是一種條件概率,但是與其它條件概率的不同之處在於,它限定了目標事件為隱變數取值,而其中的條件為觀測結果 
一般的條件概率,條件和事件都可以是任意的。

貝葉斯公式就是由先驗概率求後驗概率的公式 

 

舉例區分普通條件概率與後驗概率的區別

1)那麼如果我們出門之前我們聽到新聞說今天路上出了個交通事故,那麼我們想算一下堵車的概率,這個就叫做條件概率 。也就是P(堵車|交通事故)。這是有因求果

2)如果我們已經出了門,然後遇到了堵車,那麼我們想算一下堵車時由交通事故引起的概率有多大,那這個就叫做後驗概率 (其實也是條件概率,但是通常習慣這麼說) 。也就是P(交通事故|堵車)。這是有果求因

 

 

貝葉斯公式:

 

P(A|B)=P(A)P(B|A)/P(B) 

P(A) A為真的概率,先驗概率,是貝葉斯主義者引以為優勢的“主觀偏見”

P(B) B為真的概率,也稱邊緣概率或配分函式,是難計算的一項

P(B|A) A為真時B的概率,也稱為似然度

 

 

 

在生信的call snp 步驟如SOAPsnp,則

 

 Ti   即某位點locus的genotype 概率

 D  測序reads觀測到的allele type

 S genotypes 的數量, 對於單倍型 haploid genotype 有四種{A,C,G,T} ;對於diploid genome 有10種{AA,CC,GG,TT,AC,AG,AT,CG,CT,GT} 

 在每個genomic location, 基因型 T的prior probability P(Ti) 依據參考序列的genotype和SNP rate(在測序個體和參考基因組間的estimated SNP rate)設定。

如基因型Ti的 P(D|Ti)由測序reads的observed allele types 統計。

 

x,y表述:

P(y|x) = ( P(x|y) * P(y) ) / P(x)。   

P(y|x) 是後驗概率,一般是我們求解的目標。

P(x|y) 是條件概率,又叫似然概率,一般是通過歷史資料統計得到。一般不把它叫做先驗概率,但從定義上也符合先驗定義。

P(y) 是先驗概率,一般都是人主觀給出的。貝葉斯中的先驗概率一般特指它。

P(x) 其實也是先驗概率,只是在貝葉斯的很多應用中不重要(因為只要最大後驗不求絕對值),需要時往往用全概率公式計算得到。

 

例項:假設y是文章種類,是一個列舉值;x是向量,表示文章中各個單詞的出現次數。

在擁有訓練集的情況下,顯然除了後驗概率P(y|x)中的x來自一篇新文章無法得到,p(x),p(y),p(x|y)都是可以在抽樣集合上統計出的。

 

最大似然理論:

認為P(x|y)最大的類別y,就是當前文件所屬類別。即Max P(x|y) = Max p(x1|y)*p(x2|y)*...p(xn|y), for all y

貝葉斯理論:

認為需要增加先驗概率p(y),因為有可能某個y是很稀有的類別幾千年才看見一次,即使P(x|y)很高,也很可能不是它。

所以y = Max P(x|y) * P(y), 其中p(y)一般是資料集裡統計出來的。

 

從上例來講,貝葉斯理論顯然更合理一些;但實際中很多先驗概率是拍腦袋得出的(不準),有些甚至是為了方便求解方便生造出來的(硬湊),那有先驗又有什麼好處呢?一般攻擊貝葉斯都在於這一點。

基於貝葉斯理論,GTAK統計genotype:https://gatk.broadinstitute.org/hc/en-us/articles/360035890511

GT/PL folumn for genotype and its likelihood values.