最近在看Udacity上關於Machine Learning的初級課程，學習並記錄一下相關的知識點。

1.1 Naive Bayes

第一部分講了樸素貝葉斯的基本原理，以及如何使用Python sklearn建立樸素貝葉斯分類器。

Naive Bayes methods are a set of supervised learning algorithms based on applying Bayes’ theorem with the “naive” assumption of independence between every pair of features.

樸素貝葉斯方法是一組基於貝葉斯原理的監督學習方法，這類方法假設樣本特徵之間是相互獨立的。給定一個類變數 y

使用樸素貝葉斯的獨立性假設可以得到

對於所有的 i，上述關係可以簡化為

由於輸入給定的條件下 P(x1,…,xn) 是常數，我們可以使用下面的分類規則：

我們可以使用最大後驗估計(Maximum A Posteriori estimation, MAP)方法來估計 P(y) 和 P(xi∣y)，前者是訓練集中類別 y 的相對頻率。

不同樸素貝葉斯分類器之間的差別主要在於，對 P(xi∣y) 的分佈的假設。

儘管假設過於簡單，樸素貝葉斯分類器在許多實際問題中的處理效果卻非常好，比如文字分類和垃圾郵件檢測，這類分類器需要少量的訓練資料來估計引數。（樸素貝葉斯分類器工作效果好的原因以及在什麼型別的資料上效果比較好，針對這些問題的理論解釋可以參考文末給出的文獻。）

相比其他更復雜的方法，樸素貝葉斯方法學習和分類的運算速度都非常快。類別條件下特徵分佈的解耦意味著每個特徵的分佈可以獨立地估計為一維分佈，這反過來也有助於減輕維數災難引起的問題。

另一面，雖然樸素貝葉斯是一個不錯的分類器，但是對類概率的估計往往並不準確，所以不必過於在意 predict_proba 輸出的概率值。

References:
H. Zhang (2004). The optimality of Naive Bayes. Proc. FLAIRS.

1.2 Gaussian Naive Bayes

樸素貝葉斯分類器最常用的分佈假設是正態分佈假設，下面使用 sklearn.naive_bayes 中的 GaussianNB 構建高斯樸素貝葉斯分類器。特徵的條件似然函式假定服從正態分佈：

引數 σy and μy 使用極大似然法進行估計。

下面是使用Python的sklearn包構建高斯樸素貝葉斯分類器的小例子：

>>> from sklearn import datasets
>>> iris = datasets.load_iris()  # 使用樣例資料
>>> from sklearn.naive_bayes import GaussianNB  # 匯入模組
>>> gnb = GaussianNB()  # 初始化分類器
>>> gnb.fit(iris.data, iris.target)  # 使用訓練資料進行模型訓練
>>> y_pred = gnb.predict(iris.data)  # 對測試資料進行預測
>>> print("Number of mislabeled points out of a total %d points : %d"
...       % (iris.data.shape[0],(iris.target != y_pred).sum()))
Number of mislabeled points out of a total 150 points : 6