作業要求

一、實驗目的

1.理解樸素貝葉斯演算法原理，掌握樸素貝葉斯演算法框架；
2.掌握常見的高斯模型，多項式模型和伯努利模型；
3.能根據不同的資料型別，選擇不同的概率模型實現樸素貝葉斯演算法；
4.針對特定應用場景及資料，能應用樸素貝葉斯解決實際問題。

二、實驗內容

1.實現高斯樸素貝葉斯演算法。
2.熟悉sklearn庫中的樸素貝葉斯演算法；
3.針對iris資料集，應用sklearn的樸素貝葉斯演算法進行類別預測。
4.針對iris資料集，利用自編樸素貝葉斯演算法進行類別預測。

三、實驗報告要求

1.對照實驗內容，撰寫實驗過程、演算法及測試結果；
2.程式碼規範化：命名規則、註釋；
3.分析核心演算法的複雜度；
4.查閱文獻，討論各種樸素貝葉斯演算法的應用場景；
5.討論樸素貝葉斯演算法的優缺點。

四、實驗程式碼

IN[1]:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from collections import Counter
import math
 

IN[2]:

# data
def create_data():
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['label'] = iris.target
    df.columns = [
        'sepal length', 'sepal width', 'petal length', 'petal width', 'label'
    ]
    data = np.array(df.iloc[:100, :])
    # print(data)
    return data[:, :-1], data[:, -1]
 

IN[3]:

X, y = create_data()
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

IN[4]:

X_test[0], y_test[0]

實驗截圖：

IN[5]:

class NaiveBayes:
    def __init__(self):
        self.model = None
    # 數學期望
    @staticmethod
    def mean(X):
        return sum(X) / float(len(X))
    # 標準差（方差）
    def stdev(self, X):
        avg = self.mean(X)
        return math.sqrt(sum([pow(x - avg, 2) for x in X]) / float(len(X)))
    # 概率密度函式
    def gaussian_probability(self, x, mean, stdev):
        exponent = math.exp(-(math.pow(x - mean, 2) /
                              (2 * math.pow(stdev, 2))))
        return (1 / (math.sqrt(2 * math.pi) * stdev)) * exponent
    # 處理X_train
    def summarize(self, train_data):
        summaries = [(self.mean(i), self.stdev(i)) for i in zip(*train_data)]
        return summaries
    # 分類別求出數學期望和標準差
    def fit(self, X, y):
        labels = list(set(y))
        data = {label: [] for label in labels}
        for f, label in zip(X, y):
            data[label].append(f)
        self.model = {
            label: self.summarize(value)
            for label, value in data.items()
        }
        return 'gaussianNB train done!'
    # 計算概率
    def calculate_probabilities(self, input_data):
        # summaries:{0.0: [(5.0, 0.37),(3.42, 0.40)], 1.0: [(5.8, 0.449),(2.7, 0.27)]}
        # input_data:[1.1, 2.2]
        probabilities = {}
        for label, value in self.model.items():
            probabilities[label] = 1
            for i in range(len(value)):
                mean, stdev = value[i]
                probabilities[label] *= self.gaussian_probability(
                    input_data[i], mean, stdev)
        return probabilities
    # 類別
    def predict(self, X_test):
        # {0.0: 2.9680340789325763e-27, 1.0: 3.5749783019849535e-26}
        label = sorted(
            self.calculate_probabilities(X_test).items(),
            key=lambda x: x[-1])[-1][0]
        return label
    def score(self, X_test, y_test):
        right = 0
        for X, y in zip(X_test, y_test):
            label = self.predict(X)
            if label == y:
                right += 1
        return right / float(len(X_test))

IN[6]:

model = NaiveBayes()

IN[7]:

model.fit(X_train, y_train)

實驗截圖：

IN[8]:

print(model.predict([4.4, 3.2, 1.3, 0.2]))

實驗截圖：

IN[9]:

model.score(X_test, y_test)

實驗截圖：

IN[10]:

from sklearn.naive_bayes import GaussianNB

IN[11]:

clf = GaussianNB()
clf.fit(X_train, y_train)

實驗截圖：

IN[12]:

clf.score(X_test, y_test)

實驗截圖：

IN[13]:

clf.predict([[4.4, 3.2, 1.3, 0.2]])

實驗截圖：

IN[14]:

from sklearn.naive_bayes import BernoulliNB, MultinomialNB # 伯努利模型和多項式模型

五、實驗小結

在這次實驗中我們更加深刻的理解了樸素貝葉斯演算法，之所以稱之為”樸素”，是因為貝葉斯分類只做最原始、最簡單的假設：所有的特徵之間是統計獨立的。我們在這次實驗中將樸素貝葉斯演算法應用在實際程式碼中來加深理解。雖然樸素貝葉斯演算法資料表現很好、對缺失資料不太敏感，演算法也比較簡單，但也有缺點，例如：需要知道先驗概率，且先驗概率很多時候取決於假設，假設的模型可以有很多種，因此在某些時候會由於假設的先驗模型的原因導致預測效果不佳。由於我們是通過先驗和資料來決定後驗的概率從而決定分類，所以分類決策存在一定的錯誤率。對輸入資料的表達形式很敏感。