樸素：屬性條件獨立性假設。即假設每個屬性獨立地對分類結果發生影響。

樸素貝葉斯分類器重寫了書中的式(7.8)為：
$P\left(c\mathrm{\mid }x\right)=$

P ( c ) P ( x ∣

c ) P ( x ) = P ( c ) P ( x ) ∏ i = 1 d P ( x i ∣ c ) P(c|x) = \frac{P(c)P(x|c)}{P(x)} = \frac{P(c)}{P(x)}\prod_{i=1}^d P(x_i|c)
其中， $\prod_{i=1}^d P(x_i|c) = P(x_1|c)* P(x_2|c)*\dots * P(x_n|c)$ 。
d為屬性數目， $x_i$為 $x$在第i個屬性上的取值。

基於書中式(7.6)，即 $h^*(x) = \underset{c\epsilon{y}}{\arg\max} P(c|x)$ ,基於該式，將式(7.8)代入，（由於P(x)對所有類別來說是相同的，可以省略），可以得到下面：
$h_{nb}(x) = \underset{c\epsilon{y}}{\arg\max} P(c)\prod_{i=1}^d P(x_i|c)$
這就是樸素貝葉斯分類器的表示式。
即給定x的情況下，貝葉斯分類器最可能出現的情況c，P(x)省略。

• 令 $D_c$ 表示訓練集D中第c類樣本組成的集合，若有充足的獨立同分布樣本，則可容易地估計出類先驗概率：
  $P(c) = \frac{|D_c|}{|D|}$
  （1）對離散屬性而言，令 $D_{c,x_i}$表示 $D_c$中在第i 個屬性上取值為 $x_i$ 的樣本組成的集合，則條件概率 $P(x_i | c)$可估計為: $\red{(這裡不是絕對值，而表示集合大小)}$
  $P(x_i|c) = \frac{|D_{c,x_i}|}{|D_c|}$
  （2）對連續屬性可考慮概率密度函式，假定 $p(x_i|c)~N(\mu_{c,i},\sigma^2_{c,i})$，其中 $\mu_{c,i}和\sigma^2_{c,i}$分別是第c類樣本在第i個屬性上取值的均值和方差，則有：
  $P(x_i|c) = \frac{1}{\sqrt{2\pi}\sigma_{c,i}} exp(- \frac{(x_i-\mu_{c,i})^2}{2\sigma^2_{c,i}})$

以下針對西瓜書P151中的例子進行驗算：

可參考這篇文章

利用樸素貝葉斯演算法訓練出一個分類器,以判斷一個具有特徵{色澤=青綠，根蒂=蜷縮，敲聲=濁響，紋理=清晰，臍部=凹陷，觸感=硬滑，密度=0.697，含糖率=0.460}的測試樣例（“測1”）瓜( $x_{test}$

相關推薦