樸素貝葉斯定理

原理請參考：
http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html
https://www.cnblogs.com/TimVerion/p/11197043.html

即 後驗概率 = 先驗概率 * 調整因子

在分類中，先驗概率指樣本中該類別佔所有類別的概率，調整因子則是每個樣本特徵的概率乘積，舉個例子。

帥不帥	性格	上進不	值不值得交朋友
帥	好	不上進	不值得
不帥	不好	不上進	不值得
帥	好	上進	值得
不帥	好	上進	值得

這裡的先驗概率就是指：值得交朋友(1/2) , 不值得交朋友(1/2)

調整因子是指你要預測的樣本的特徵概率，如果有一個樣本是不帥|好|不上進(例子特徵不分散，因為只有兩個值，我們先不管這個)

那麼值得交的後驗概率= 1/2 * 調整因子 = 0， 調整因子 = 不帥在值得交的資料中佔(1/2) * 好在值得佔(1) * 不上進在值得佔(0)
不值得交的後驗概率 = 1/2* 1/2 * 1/2 * 1 = 1/8

所以這個人值不值得交呢，根據資料是1/8>0，那就是不值得交了。不過因為樣本資料較少，出現某個為0的概率，這就有點問題了，因為實際不可能概率為0的。

平滑引數

所以我們需要引入一個平滑引數，來使這個值不為0

那麼我們計算概率時不是直接使用：符合要求的樣本/總樣本，而是 符合要求的樣本 + alpha/(總樣本+標籤類別數或特徵類別數 * alpha)，alpha一般取1.0

即先驗概率：值得交朋友(2 + 1/(4+2 * 1))=1/3 , 不值得交朋友(2 + 1/(4+2 * 1)) = 1/3

而特徵概率的計算需要這樣計算：其他先不看，我們直接看值得交中不上進的概率(也就是先前為0的概率)= 0+1/(2 + 21) = 1/4， 注意這裡的類別數是指len(上進，不上進)
值得交的後驗概率：1/3 1/2 * 3/4 * 1/4 = 1/32
不值得交的後驗概率： 1/3 * 1/2 * 1/2 * 3/4 = 1/16

雖然還是不值得交，但至少值得交的概率不為0了。如果你還不懂的話，直接看驗證碼的識別，然後在回來看這個。

sklearn中的api

sklearn.naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)
引數

• alpha：上面說的平滑引數
• fit_prior: 是否考慮先驗概率，也就是每個類別所佔的比例
• class_prior: 給定的先驗概率陣列
  屬性
• class_log_prior_ : 陣列, 維度(n_classes, )，每個類別的對數概率。n_classes為類別數量，比如有10個類別，每個類別樣本都是100個，則陣列為(In 1/10, In 1/10,...)
• intercept_ : 同class_log_prior_
• feature_log_prob_ : 陣列，維度(n_classes，n_features）給定一類特徵的經驗對數概率P(x_i|y)。沒看懂
• coef_ : 同feature_log_prob_
• class_count_ : 陣列，維度（n_classes, ）每個類別的樣本個數
• classes_ ： 陣列，維度（n_classes，）每個類別的標籤
• feature_count_ ： 陣列，形狀（n_classes，n_features）擬合期間每個（類，特徵）遇到的樣本數。沒看懂
  方法
• fit(x, y[, sample_weight]): 使用樣本x和標籤y作訓練
• get_params(deep=True): 獲取模型的所有引數，deep不知道有什麼用
• partial_fit(x, y[, classes, sample_weight]): 一批一批的訓練樣本（當樣本足夠大時）
• predict(test_x): 根據樣本test_x,返回預測y
• predict_proba(test_x): 返回樣本test_x屬於每個類別的概率，也就是說返回的是維度為(樣本數, k)的二維陣列，每行一維陣列的所有元素和為1，陣列長度為k。
• score(test_x, y, sample_weight =None): 根據樣本test_x預測test_y, 然後對比實際的y返回的正確分數，sample_weight為權重
• set_params(**args): 重新設定模型引數

當然還有其他樸素貝葉斯分類或迴歸器，區別如下：
特徵是離散變數時，使用多項式模型(MultinomialNB)
當特徵是連續變數時，使用高斯模型(GaussianNB)
伯努利模型(BernoulliNB)和多項式模型是一致的，但要求特徵是二值化的（1，0）

生成模型

根據上面的描述可知，像這種簡單驗證碼，可以使用多項式模型，也可以使用伯努利模型，因為圖片已經被二值化。

已知圖片是18x10的二維陣列，陣列的每個元素都是0,1之間的數。我們可以組成180個特徵，而驗證碼都是0-9的數字，所以分類是這樣來計算的

假設180個特徵分別為x1, x2,...,x180，標籤為0-9，每個標籤的樣本個數都是120個
某個樣本屬於0的概率：P(0) = P0(x1)P0(x2)....P0(x180)P總(0), P0(x1)表示x1在0類別樣本中所佔的比例(概率)，P總(0)表示0佔總樣本的比例(概率)即1/10, 這些值都是可以從訓練樣本求得。

程式碼和KNN的基本一樣，如下：

from sklearn import naive_bayes
import os
from PIL import Image
import numpy as np


def func():
    x = []
    y = []
    for label in os.listdir('train'):
        for file in os.listdir(f'train/{label}'):
            im = Image.open(f'train/{label}/{file}')
            pix = np.array(im)
            pix = (pix > 180) * 1
            pix = pix.ravel()
            x.append(list(pix))
            y.append(int(label))

    train_x = np.array(x)
    train_y = np.array(y)


    model = naive_bayes.MultinomialNB(alpha=1)

    model.fit(train_x, train_y)

    x = []
    y = []
    for label in os.listdir('test'):
        for file in os.listdir(f'test/{label}'):
            im = Image.open(f'test/{label}/{file}')
            pix = np.array(im)
            pix = (pix > 180) * 1
            pix = pix.ravel()
            x.append(list(pix))
            y.append(int(label))

    test_x = np.array(x)
    test_y = np.array(y)
    score = model.score(test_x, test_y)

    return score

if __name__ == "__main__":
    score = func()
    print(score)

在這種簡單驗證碼識別上，樸素貝葉斯也可以達到100%的正確率。如果將樣本特徵改成16個的話，你會發現樸素貝葉斯和KNN錯誤的地方都是一樣的，都是同一個驗證碼識別成了同一個錯誤。

最後，我正在學習一些機器學習的演算法，對於一些我需要記錄的內容我都會分享到部落格和微信公眾號，歡迎關注。平時的話一般分享一些爬蟲或者Python的內容。另外，如果部落格有錯誤的話，還請指出。

這是已標註的資料：https://www.lanzous.com/i8epywd

最後，我正在學習一些機器學習的演算法，對於一些我需要記錄的內容我都會分享到部落格和微信公眾號(python成長路)，歡迎關注。平時的話一般分享一些爬蟲或者Python的內容。

相關推薦