引言

先前曾經看了一篇文章，一個老外程式設計師寫了一些很牛的Shell指令碼，包括晚下班自動給老婆發簡訊啊，自動衝Coffee啊，自動掃描一個DBA發來的郵件啊， 等等。於是我也想用自己所學來做一點有趣的事情。我的想法如下：

1. 首先我寫個scrapy指令碼來抓取某個網站上的笑話
2. 之後寫個Shell指令碼每天早上6點自動抓取最新的笑話
3. 然後用樸素貝葉斯模型來判斷當前的笑話是否屬於成人笑話
4. 如果是成人笑話，用指令碼把它自動發給好兄弟的郵箱
5. 如果不是成人笑話，用指令碼把它自動發給女朋友的郵箱

在這個系列的文章中，你會學到：

1. 樸素貝葉斯背後的數學原理
2. 演算法具體的工作過程（結合例項）
3. scikit-learn快速實現演算法

這個系列的文章還會涉及到scrapy，pandas，numpy的一些知識，遇到這些知識的時候我會具體解釋的。這個系列的文章我會主要詳細的介紹上面的第3步實現過程，其餘的我會將原始碼放在github上供大家參考。下面，就讓我們享受這個奇妙之旅吧。

樸素貝葉斯概述

眾所周知，樸素貝葉斯是一種簡單但是非常強大的線性分類器。它在垃圾郵件分類，疾病診斷中都取得了很大的成功。它只所以稱為樸素，是因為它假設特徵之間是相互獨立的，但是在現實生活中，這種假設基本上是不成立的。那麼即使是在假設不成立的條件下，它依然表現的很好，尤其是在小規模樣本的情況下。但是，如果每個特徵之間有很強的關聯性和非線性的分類問題會導致樸素貝葉斯模型有很差的分類效果。

樸素貝葉斯背後的數學原理

後驗概率(Posterior Probabilities)

為了更好地瞭解樸素貝葉斯分類器是怎麼工作的，瞭解貝葉斯法則是很必要的。它可以被簡單地描述成下面的公式：

後驗概率=條件概率∗先驗概率現象概率

我們可以用一個關於老天是否下雨的例子來解釋上面的公式。

P(給定天上有烏雲，下雨的概率)=P(給定天上下雨，有烏雲的概率)∗P(下雨的概率)P(有烏雲的概率)

我們可以看到，如果我們想要在給定現象下，預測某種結果的概率，我們必須知道：1、在給定這種結果下，出現這種現象的概率。2、出現這種結果的概率。3、出現這種現象的概率。

在實際應用中，我們的現象不可能只有一個，比如，在垃圾郵件分類中，甚至可能有幾千個詞的特徵向量。下面，我將引入一些數學上的記號來統一後面的表達：

1. ωj表示屬於哪個類別，j∈{1,2,3,…,m}
2. xi表示特徵向量中的第i個特徵，i∈{1,2,3,…,n}

樸素貝葉斯的目標就是分別求得P(ωj|給定現象)j∈{1,2,3,…,m}，選出最大的概率。

下面我將分別解釋上面的三個概率。

條件概率(Conditional Probabilities)

隨機變數的獨立性意味著我告訴你一個變數的出現，並不影響你相信另一個出現的可能。最簡單的一個例子就是拋硬幣，也就是第一次的反正面並不會影響你再一次丟擲現反正面的概率（也就是0.5）。

樸素貝葉斯模型中，特徵之間不僅僅是獨立的，而且是加條件的獨立的。比如說：我的特徵向量x中，有n個特徵，那麼我可以把概率寫成下面的形式：

P(x|ωj)=P(x1|ωj)∗P(x2|ωj)∗P(x3|ωj)∗⋯∗P(xn|ωj)=∏k=1nP(xk|ωj)

P(x|ωj)的概率我們可以理解成：在給定屬於某個類別的條件下，觀察到出現現象x的概率。在特徵向量中的每個特點的概率我們都可以通過極大似然估計（maximum-likelihood estimate）來求得，也就是簡單地求某個特徵在某個類別中的頻率，公式如下：

P(xi|ωj)=Nxi|ωjNωj(i=(1,…,n))

• Nxi|ωj:在所有屬於類