在學習樸素貝葉斯時，需要注意以下幾個關鍵點：

1.它是構建分類器的簡單方法，不是一個訓練分類器的單一方法，而是一系列基於相同原理的演算法，例如（基於高斯分佈的樸素貝葉斯和基於多項式的樸素貝葉斯等）。

2.它是一個基於貝葉斯定理與特徵獨立性假設的分類方法。這裡我想解釋一下特徵獨立性假設：指的是樣本所包含的屬性在判斷其是否為某一類時的概率分佈上是獨立的。（至於為什麼要這樣子假設，後面我會進行說明）

3.樸素貝葉斯的基本過程

                 樸素貝葉斯通過訓練資料集學習聯合概率分佈p(X,Y)。具體地，學習一下先驗概率分佈和條件概率分佈。先驗概率分佈如式（1）：

    條件概率分佈：

於是學習到聯合概率分佈P(X,Y).

      條件概率分佈有指數級數量的引數，其估計實際是不可行的。假設特徵可能取值為個，j=1,2，....,n,Y可能取值有K個，那麼引數個數為。 其中N為樣本的個數，l為特徵的個數，下標表示樣本，上標表示特徵。

   由式（2）可知條件概率P（x|c）是所有屬性上的聯合概率，有著指數數量的引數，難以從有限的訓練樣本中直接估計得到。因此，樸素貝葉斯對條件概率分佈作了條件獨立性的假設：其等價於說明用於分類的特徵在類確定的條件下都是條件獨立的。這一假設使得樸素貝葉斯法變得簡單，但是有時會犧牲一定的分類準確率。根據條件獨立性假設，我們可以將條件概率轉化為：

   4.樸素貝葉斯分類。

     樸素貝葉斯分類時，對於給定的輸入，通過學習到的模型計算後驗概率分佈,將後驗概率最大的類作為的類輸出。後驗概率計算根據貝葉斯定理進行：

      上式是樸素貝葉斯法分類的基本公式。於是，樸素貝葉斯分類器可以表示為：

    在式（5）中分母對所有的都是相同的，所以可以簡化為：

 5.樸素貝葉斯概率計算及引數估計

    由3可知，在樸素貝葉斯法中，學習意味著估計先驗概率和條件概率。若有充足的獨立同分布樣本，則可容易地估計出類先驗概率如式（1），

    對於離散屬性而言，令表示在第i個特徵上取值為的樣本組成的集合，則條件概率可估計為：

 對於連續屬性可考慮概率密度函式，假定

  注：根據類別計算特徵中的均值和方差。

6.貝葉斯估計

  上述為極大似然估計，用極大似然估計可能會出現所要估計的概率值為0的情況，著時會影響到後驗概率的計算結果，使得分類產生偏差，計，具體地，條件概率的貝葉斯估計是

 式中大於等於0.等價於在隨機變數各個取值的頻數上賦予一個正數。當其等於0時，就是極大似然估計，常取=1,這時稱為拉普拉斯平滑 。可以觀察到對於任何l=1,2,...,Sj，k=1,2,..,K,有

 表明（4.9）確為一種概率分佈。同樣先驗概率的貝葉斯估計是：

  注意：拉普拉斯修正實質上假設了屬性值與類別均勻分佈，這是樸素貝葉斯學習過程中額外引入的關於資料的先驗。顯然，拉普拉斯修正避免了因訓練集樣本不充分而導致概率估計值為0的問題，並且在訓練樣本集變大時，修正過程所引入的先驗的影響也會逐漸變得可忽略，使得估計值漸趨於實際概率值。

   在現實生活中，樸素貝葉斯分類器有多種使用方式。例如：若任務對預測速度要求較高時，則給定訓練集，可將樸素貝葉斯分類器涉及的所有概率估計值事先計算好儲存起來，這樣進行預測試只需要查表即可進行判斷；若任務更替比較頻繁，則可採用“”懶惰學習“方式，先不進行任何訓練，待收到預測請求時再根據當前資料集進行概率估計值；當資料不斷增加時，則可在現有估計基礎上，僅對新增樣本值所涉及的概率估計進行計數修正即可實現增量學習。

9.後驗概率最大化等價於0-1損失函式時的期望最小化。

  樸素貝葉斯法將例項分到後驗概率最大的類中。這等價於期望風險最小化。假設選擇0-1損失函式：

   式中f(x)是分類決策函式。這時，期望風險函式為，期望是對聯合概率分佈P(X,Y)取的。由此條件期望

（12）

  為使期望風險最小化，只需對X=x逐個極小化，由此得到：

參考：《統計學習》、《機器學習》、《機器學習實戰》