16 SVM - 程式碼案例三 - 不同SVM核函式效果比較
阿新 • • 發佈:2018-12-07
SVM的章節已經講完,具體內容請參考:《01 SVM - 大綱》
《14 SVM - 程式碼案例一 - 鳶尾花資料SVM分類》
《15 SVM - 程式碼案例二 - 鳶尾花資料不同分類器效果比較》
常規操作:
1、標頭檔案引入SVM相關的包
2、防止中文亂碼
3、讀取資料
4、資料分割訓練集和測試集 6:4
import time import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score ## 設定屬性防止中文亂碼 mpl.rcParams['font.sans-serif'] = [u'SimHei'] mpl.rcParams['axes.unicode_minus'] = False ## 讀取資料 # 'sepal length', 'sepal width', 'petal length', 'petal width' iris_feature = u'花萼長度', u'花萼寬度', u'花瓣長度', u'花瓣寬度' path = './datas/iris.data' # 資料檔案路徑 data = pd.read_csv(path, header=None) x, y = data[list(range(4))], data[4] y = pd.Categorical(y).codes x = x[[0, 1]] ## 資料分割 x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=28, train_size=0.6)
資料SVM分類器構建:
1、線性核;2、高斯核;3、多項式核;4、Sigmoid核函式;
10 SVM - 核函式 - 文末對四種核函式進行了介紹,尤其是高斯核。
svm1 = SVC(C=1, kernel='linear') svm2 = SVC(C=1, kernel='rbf') svm3 = SVC(C=1, kernel='poly') svm4 = SVC(C=1, kernel='sigmoid') ## 模型訓練 t0=time.time() svm1.fit(x_train, y_train) t1=time.time() svm2.fit(x_train, y_train) t2=time.time() svm3.fit(x_train, y_train) t3=time.time() svm4.fit(x_train, y_train) t4=time.time()
效果評估:
svm1_score1 = accuracy_score(y_train, svm1.predict(x_train)) svm1_score2 = accuracy_score(y_test, svm1.predict(x_test)) svm2_score1 = accuracy_score(y_train, svm2.predict(x_train)) svm2_score2 = accuracy_score(y_test, svm2.predict(x_test)) svm3_score1 = accuracy_score(y_train, svm3.predict(x_train)) svm3_score2 = accuracy_score(y_test, svm3.predict(x_test)) svm4_score1 = accuracy_score(y_train, svm4.predict(x_train)) svm4_score2 = accuracy_score(y_test, svm4.predict(x_test))
畫圖 - 鳶尾花資料SVM分類器不同核心函式模型比較:
x_tmp = [0,1,2,3]
t_score = [t1 - t0, t2-t1, t3-t2, t4-t3]
y_score1 = [svm1_score1, svm2_score1, svm3_score1, svm4_score1]
y_score2 = [svm1_score2, svm2_score2, svm3_score2, svm4_score2]
plt.figure(facecolor='w', figsize=(12,6))
模型預測準確率比較:
plt.subplot(121)
plt.plot(x_tmp, y_score1, 'r-', lw=2, label=u'訓練集準確率')
plt.plot(x_tmp, y_score2, 'g-', lw=2, label=u'測試集準確率')
plt.xlim(-0.3, 3.3)
plt.ylim(np.min((np.min(y_score1), np.min(y_score2)))*0.9,
np.max((np.max(y_score1), np.max(y_score2)))*1.1)
plt.legend(loc = 'lower left')
plt.title(u'模型預測準確率', fontsize=13)
plt.xticks(x_tmp, [u'linear-SVM', u'rbf-SVM', u'poly-SVM', u'sigmoid-SVM'], rotation=0)
plt.grid(b=True)
模型訓練耗時比較:
plt.subplot(122)
plt.plot(x_tmp, t_score, 'b-', lw=2, label=u'模型訓練時間')
plt.title(u'模型訓練耗時', fontsize=13)
plt.xticks(x_tmp, [u'linear-SVM', u'rbf-SVM', u'poly-SVM', u'sigmoid-SVM'], rotation=0)
plt.xlim(-0.3, 3.3)
plt.grid(b=True)
plt.suptitle(u'鳶尾花資料SVM分類器不同核心函式模型比較', fontsize=16)
plt.show()
預測結果畫圖
畫圖比較:
N = 500
x1_min, x2_min = x.min()
x1_max, x2_max = x.max()
t1 = np.linspace(x1_min, x1_max, N)
t2 = np.linspace(x2_min, x2_max, N)
x1, x2 = np.meshgrid(t1, t2) # 生成網格取樣點
grid_show = np.dstack((x1.flat, x2.flat))[0] # 測試點
獲取各個不同演算法的測試值:
svm1_grid_hat = svm1.predict(grid_show)
svm1_grid_hat = svm1_grid_hat.reshape(x1.shape) # 使之與輸入的形狀相同
svm2_grid_hat = svm2.predict(grid_show)
svm2_grid_hat = svm2_grid_hat.reshape(x1.shape) # 使之與輸入的形狀相同
svm3_grid_hat = svm3.predict(grid_show)
svm3_grid_hat = svm3_grid_hat.reshape(x1.shape) # 使之與輸入的形狀相同
svm4_grid_hat = svm4.predict(grid_show)
svm4_grid_hat = svm4_grid_hat.reshape(x1.shape) # 使之與輸入的形狀相同
畫圖:
cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b'])
plt.figure(facecolor='w', figsize=(14,7))
1、鳶尾花Linear-SVM特徵分類 (線性核)
plt.subplot(221)
## 區域圖
plt.pcolormesh(x1, x2, svm1_grid_hat, cmap=cm_light)
## 所以樣本點
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 樣本
## 測試資料集
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10) # 圈中測試集樣本
## lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鳶尾花Linear-SVM特徵分類', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)
2、鳶尾花rbf-SVM特徵分類 (高斯核)
plt.subplot(222)
## 區域圖
plt.pcolormesh(x1, x2, svm2_grid_hat, cmap=cm_light)
## 所以樣本點
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 樣本
## 測試資料集
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10) # 圈中測試集樣本
## lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鳶尾花rbf-SVM特徵分類', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)
3、鳶尾花poly-SVM特徵分類 (多項式核)
plt.subplot(223)
## 區域圖
plt.pcolormesh(x1, x2, svm3_grid_hat, cmap=cm_light)
## 所以樣本點
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 樣本
## 測試資料集
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10) # 圈中測試集樣本
## lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鳶尾花poly-SVM特徵分類', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)
4、鳶尾花sigmoid-SVM特徵分類:
plt.subplot(224)
## 區域圖
plt.pcolormesh(x1, x2, svm4_grid_hat, cmap=cm_light)
## 所以樣本點
plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 樣本
## 測試資料集
plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10) # 圈中測試集樣本
## lable列表
plt.xlabel(iris_feature[0], fontsize=13)
plt.ylabel(iris_feature[1], fontsize=13)
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title(u'鳶尾花sigmoid-SVM特徵分類', fontsize=16)
plt.grid(b=True, ls=':')
plt.tight_layout(pad=1.5)
plt.show()
PS: 還記得講核函式時候說過的話麼?
高斯核 可以近似表示無窮維的擴充套件,效果最好。
sigmoid核 一塌糊塗,不要去用。