1. 程式人生 > >關於條件概率,全概率公式,貝葉斯公式

關於條件概率,全概率公式,貝葉斯公式

        今天看到關於貝葉斯公式的一個比較全面的應用,但是在看的時候突然發現自己以前對於貝葉斯公式的記憶已經模糊,故從頭開始把概率論這些基本的公式全部重新學習一般,並記錄下來,希望能以一個淺顯易懂的方式表達出來。下面直接進入正題。

        首先說條件概率,我們知道現實中一件事情的發生可能會在不同的情況下,那麼在某一種特定情況下事件發生的概率即為條件概率。比如一個城市中有N個人,其中女性為M個,在這個城市中色盲一共有x個,而在這些色盲中女性有y個,那麼我們令事件 A={任選一個人為女性} ,B={任選一個人為色盲},則有P(A)=M/N, P(B)=x/N,那麼我們就知道即是女性又是色盲的人的概率為P(AB) = y/N,

那麼在女性中色盲的人的概率就為(記為P(B|A))P(B|A) = y/M = P(AB)/P(A),即為在女性條件下為色盲的概率。其實通俗的理解就是AB事件共同發生的概率比上A事件發生的概率就是B事件在A事件條件下發生的概率。此時就是把A事件當做全集處理,要把A事件發生的概率量化到1,相應的AB事件發生的概率也要按比率調整。

有了條件概率,我們就可以計算全概率了。現實中,某種事情的發生可能在不同的情況下,我們繼續上面的例子,比如說一個城市中一共有N個人,男性X個,女性Y個,其中在男性中是色盲的有a個,在女性中是色盲的有b個,那麼我們想知道在整個城市中任取一個人是色盲的概率是多少,我們記P(A)={任選一個人是色盲},P(B)={任選一個人是男性},P(C)={任選一個人是女性},P(A|B) = {從男性中任選一個人是色盲},P(A|C) = {從女性中任選一個人是色盲},那麼我們就有P(B) = X /N, P(C) = Y/N,P(A|B) = a/X ,P(A|C) = b/Y ,P(A) = (a+b)/(X+Y) = (a+b)/N  = a/X*X/N + b/Y*Y/N =P(A|B)

P(B) + P(A|C) *P(C);於是我們就可以得出全概率公式的一般定義:

其實通俗的解釋就是,一個事件A在很多情況下都會發生,那麼我們想知道A在總體的事件下A發生的概率,但是呢我們又不能直接得到A在總體事件中的概率,但是我們知道在所有會發生A事件的子事件中A發生的概率,並且知道子事件發生的概率,那麼加起來就是了。

有了全概率公式,我們就能得出一個事件A發生的總體的概率,然後再實際生活中,我們有時候不僅僅想要知道這個事情發生的整體概率,我們繼續上面的例子,比如說我們知道一個人為色盲,但是我們不知道這個人是男的還是女的,那麼我們怎麼計算呢?或許這個問題貌似在現實生活中不太現實,那我們引用托馬斯·貝葉斯(Thomas Bayes)同學的

一段 wikipedia 上的簡介:(摘自)

這就用到了貝葉斯公式求解,繼續上面的全概率公式,在《All of Statistics》這本書中,給出瞭如下的定義:

繼續色盲的那個例子,那麼這個公式中B就代表為已知一個人現在為色盲,A一共有兩種情況,A1為男性,A2為女性,P(A1|B)即為已知一個色盲那麼他為男性的概率是多大,P(A2|B)即為已知一個色盲她為女性的概率。其中P(B)表示為任取一個人其為色盲的概率,我們稱之為先驗概率,也就是我們可以通過一些統計或者計算的方法計算出來的一個概率,而P(Ai|B)則稱為後驗概率,是需要我們去計算的,估計得概率。其實,所謂後驗概率即為在事情已經發生的情況下我們要求其在某個因素下導致這個事情發生的概率。

關於先驗概率與後驗概率的區別,我覺得所謂先驗就是我們在沒有事情發生之前推測一件事情發生的概率,而後驗概率則是已經有個事情或者因素、條件發生的情況下一件事情發生的概率,故稱為後驗。

下面對於貝葉斯公式應用舉一個從別處抄來的小例子

將郵件分為三類,A1=spam,A2=low priority ,A3=high priority.從以前的經驗中得到先驗概率P(A1)=0.7,P(A2)=0.2,P(A3)=0.1.這三個的概率之和一定為1。設事件B為郵件中包含單詞free(為啥是free,我也不知道,只是舉個例子不要當真,也可以是democracy),我們可以古典概率模型計算P(B|A1)=0.9,P(B|A2)=0.01,P(B|A3)=0.01.當然這三個的和可能不為1,你知道原因麼?言歸正傳,某天我收到一封郵件,發件人來自米國這個頭號資本主義國家,這不是重點,重點是這封郵件包含了單詞free,問這封郵件為spam的概率是多少?

也就是說你有0.995的成功率判定該郵件為spam,至此你已能運用貝葉斯公式進行計算了。

個人覺得關於貝葉斯這樣的基本理解已經夠用了,其餘的可以根據需要再查相關資料就好了。