感知機演算法實戰Iris資料集

關於感知機的相關理論知識請檢視：感知機

關於Iris資料集

Iris也稱鳶尾花卉資料集，是一類多重變數分析的資料集。資料集包含150個數據集，分為3類，每類50個數據，每個資料包含4個屬性。可通過花萼長度，花萼寬度，花瓣長度，花瓣寬度4個屬性預測鳶尾花卉屬於（Setosa，Versicolour，Virginica）三個種類中的哪一類。

Iris以鳶尾花的特徵作為資料來源，常用在分類操作中。該資料集由3種不同型別的鳶尾花的50個樣本資料構成。其中的一個種類與另外兩個種類是線性可分離的，後兩個種類是非線性可分離的。

該資料集包含了5個屬性：

& Sepal.Length（花萼長度），單位是cm;

& Sepal.Width（花萼寬度），單位是cm;

& Petal.Length（花瓣長度），單位是cm;

& Petal.Width（花瓣寬度），單位是cm;

& 種類：Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），以及Iris Virginica（維吉尼亞鳶尾）。

程式碼實戰

先介紹一下如何搭建一個感知機，我們需要用到numpy庫

import numpy as np
class Perception
 
(object):
    """
    eta:學習率
    n_iter:權重向量的訓練次數
    w_:神經分叉權重向量
    error_:用於記錄神經元判斷出錯次數
    """
    def __init__(self, eta = 0.01, n_iter = 10):
        self.eta = eta
        self.n_iter = n_iter
        pass

    def fit(self, x, y):
        """
        輸入訓練資料，培訓神經元，x輸入樣本向量，y對應樣本分類

        x:shape[n_samples, n_features]
        x:[[1, 2, 3], [4, 5, 6]]
        n_samples:2
        n_features:3

        y:[1, -1]
        """
 


        """
        初始化權重向量為0
        加一是因為前面演算法提到的w0，也就是步調函式的閾值
        """
        self.w_ = np.zeros(1 + x.shape[1])
        self.errors_ = []

        for _ in range(self.n_iter):
            errors = 0
            """
            x:[[1, 2, 3], [4, 5, 6]]
            y:[1, -1]
            zip(x,y) = [[1, 2, 3, 1], [4, 5, 6, -1]]
            """
            for xi, target in zip(x, y):
                """
                update = η * (y - y')
                """
                update = self.eta * (target - self.predict(xi))
                """
                xi是一個向量
                update * xi 等價：
                [▽w[1]=x[1]*update,▽w[2]=x[2]*update,▽w[3]=x[3]*update]
                """
                self.w_[1:] += update * xi
                self.w_[0] += update

                errors += int(update != 0.0)
                self.errors_.append(errors)
                pass

            pass

        pass
    def net_input(self, x):
        return np.dot(x, self.w_[1:]) + self.w_[0]
        pass
    def predict(self, x):
        return np.where(self.net_input(x) >= 0.0, 1, -1)
        pass

上面我們完成了一個最基本的感知機的搭建，下面我們就要開始處理資料了

首先，我們需要使用pandas庫來讀取資料

import pandas as pd
file = 'https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data'
df= pd.read_csv(file,header=None)
df.head(10)

我們檢視一下前十行資料

通過這些數字我們並不能明顯看出什麼關係，所以接下來，我們用matplotlib庫畫出其中兩種花的兩個變數的關係，我這裡選取的是花瓣長度和花莖的長度

import matplotlib.pyplot as plt

y = df.loc[0:100, 4].values
y = np.where(y == 'Iris-setosa',-1,1)

x = df.loc[0:100,[0,2]].values

plt.scatter(x[:50,0],x[:50,1],color='red',marker='o',label='setosa')
plt.scatter(x[50:100,0],x[50:100,1],color='blue',marker='x',label='versicolor')
plt.xlabel('花瓣的長度')
plt.ylabel('花莖的長度')
plt.legend(loc = 'upper left')
plt.show()

通過影象我們可以很明顯地看出，這兩種花具有的特點

下面我們呼叫之前定義好的感知機模型，讓它學習這些資料，然後我們同樣畫出感知機學習過程中的錯誤次數

ppn = Perception(eta=0.1, n_iter=10)
ppn.fit(x, y)
plt.plot(range(1,len(ppn.errors_) + 1),ppn.errors_, marker='o')
plt.xlabel('Epoch')
plt.ylabel('錯誤分類次數')
plt.show()

通過圖中可以看出，在剛開始學習時，分類錯誤比較多，到後面就基本沒有錯誤了

如果我們想要檢視一下感知機學習出來的分離超平面可以定義如下一個繪圖函式

from matplotlib.colors import ListedColormap
def plot_decision_regions(x, y, classifier, resolution = 0.02):
    marker = ('s', 'x', 'o', 'v')
    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])

    x1_min, x1_max = x[:,0].min() - 1, x[:,0].max()
    x2_min, x2_max = x[:,1].min() - 1, x[:,1].max()

    #print(x1_min, x1_max)
    #print(x2_min, x2_max)

    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
                          np.arange(x2_min, x2_max, resolution))

    z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)

    #print(xx1.ravel())
    #print(xx2.ravel())
    #print(z)

    z = z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, z, alpha=0.4, cmap=cmap)
    plt.xlim(xx1.min(), xx1.max())
    plt.ylim(xx2.min(), xx2.max())

    for idx, cl in enumerate(np.unique(y)):
        plt.scatter(x=x[y==cl, 0],y=x[y==cl, 1], alpha=0.8, c=cmap(idx), 
                    marker=marker[idx], label=cl)

我們通過呼叫這個函式可以畫出我們學習到的超平面

plot_decision_regions(x, y, ppn, resolution=0.02)
plt.xlabel('花瓣的長度')
plt.ylabel('花莖的長度')
plt.legend(loc = 'upper left')
plt.show()

(PS: 在畫圖的時候忘記了中文的問題了。。。)