簡單易學的機器學習演算法——樸素貝葉斯
一、貝葉斯定理
1、條件概率
條件概率是指在事件B發生的情況下,事件A發生的概率,用表示。2、全概率公式
含義是:如果和構成樣本空間的一個劃分,那麼事件B的概率,就等於和的概率分別乘以B對這兩個事件的條件概率之和。
3、貝葉斯推斷
其中稱為先驗概率,即在事件B發生之前,我們對事件A的概率的一個判斷。稱為後驗概率,即在事件B發生之後,我們對事件A的概率的重新估計。稱為調整因子,使得預估概率更接近真實概率。 貝葉斯推斷告訴我們,先預估計一個“先驗概率”,然後加入實驗結果,看這個實驗到底是增強還是削弱了“先驗概率”,由此得到更接近事實的“後驗概率”。
二、樸素貝葉斯
1、樸素貝葉斯的概述
樸素貝葉斯是基於貝葉斯決策理論的分類方法,樸素貝葉斯之所以成為“樸素”,是因為在整個過程中都假設特徵之間是相互獨立的以及每一個特徵都是同等重要的。2、樸素貝葉斯的原理
樸素貝葉斯是使用條件概率來分類的,假設有一個二分類問題,二分類是指分成兩個類的問題,如類和類。假設樣本有兩個特徵和,則需要分別求解條件概率和。而可以表述為由於特徵之間是相互獨立的的,所以。 此時要做分類,貝葉斯分類準則為: 如果,那麼屬於類; 如果,那麼屬於類。