2. 程式人生 > >SVM 支援向量機演算法-實戰篇

SVM 支援向量機演算法-實戰篇

阿新 • • 發佈：2021-01-22
> **公號：碼農充電站pro** > **主頁：** [上一篇](https://www.cnblogs.com/codeshell/p/14301569.html)介紹了 SVM 的原理和一些基本概念，本篇來介紹如何用 SVM 處理實際問題。 ### 1，SVM 的實現 **SVM 演算法**即可以處理分類問題，也可以處理迴歸問題。 **sklearn** 庫的 **svm** 包中實現了下面四種 SVM 演算法： - [LinearSVC](https://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html)：用於處理**線性分類**問題。 - [SVC](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html)：用於處理**非線性分類**問題。 - [LinearSVR](https://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVR.html)：用於處理**線性迴歸**問題。 - [SVR](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html)：用於處理**非線性迴歸**問題。 **LinearSVC/R** 中預設使用了**線性核函式**來出處理線性問題。 **SVC/R** 可以讓我們選擇是使用線性核函式還是**高維核函式**，當選擇線性核函式時，就可以處理線性問題；當選擇高維核函式時，就可以處理非線性問題。 對於線性問題，**LinearSVC/R** 比 **SVC/R** 更優秀，因為 **LinearSVC/R** 中做了優化，效率更高。 如果不知道資料集是否線性可分，可以使用 **SVC/R** 來處理。 下面主要介紹分類器，迴歸器的使用跟分類器大同小異。 先來看下 **SVC** 類的原型： ```java SVC(C=1.0, kernel='rbf', degree=3, gamma='scale', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=- 1, decision_function_shape='ovr', break_ties=False, random_state=None) ``` 其中有幾個重要的引數： - kernel：代表核函式，它有四種選擇： - linear：線性核函式，用於處理線性問題。 - poly：多項式核函式，用於處理非線性問題。 - rbf：高斯核函式，為預設值。用於處理非線性問題，效能比 poly 更好。 - sigmoid：sigmoid 核函式，用於實現多層神經網路 SVM，處理非線性問題。 - C：代表目標函式的懲罰係數，懲罰係數指的是分錯樣本時的懲罰程度，預設為 1.0。 - 當 C 越大的時候，分類器的準確性越高，但容錯率會越低，泛化能力會變差。 - 當 C 越小的時候，泛化能力越強，但是準確性會降低。 - gamma：代表核函式的係數，預設為樣本特徵數的倒數。 再來看下 **LinearSVC** 類的原型： ```java LinearSVC(penalty='l2', loss='squared_hinge', dual=True, tol=0.0001, C=1.0, multi_class='ovr', fit_intercept=True, intercept_scaling=1, class_weight=None, verbose=0, random_state=None, max_iter=1000) ``` 在 LinearSVC 類中沒有 kernel 引數，因為預設使用了線性核函式。 ### 2，準備資料集 **sklearn** 庫中自帶了一份[乳腺癌資料集](https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/datasets/data/breast_cancer.csv)，下面就使用該資料來構造 SVM 分類器。 這份資料集中採集了一些患者的特徵，共包含 569 份資料，每份資料包含 31 個欄位，用逗號隔開。在 569 份資料中，一共有 357 個是良性，212 個是惡性。 下面隨機抽取了 3 份資料，來看下： ```shell 16.13,20.68,108.1,798.8,0.117,0.2022,0.1722,0.1028,0.2164,0.07356,0.5692,1.073,3.854,54.18,0.007026,0.02501,0.03188,0.01297,0.01689,0.004142,20.96,31.48,136.8,1315,0.1789,0.4233,0.4784,0.2073,0.3706,0.1142,0 19.81,22.15,130,1260,0.09831,0.1027,0.1479,0.09498,0.1582,0.05395,0.7582,1.017,5.865,112.4,0.006494,0.01893,0.03391,0.01521,0.01356,0.001997,27.32,30.88,186.8,2398,0.1512,0.315,0.5372,0.2388,0.2768,0.07615,0 13.54,14.36,87.46,566.3,0.09779,0.08129,0.06664,0.04781,0.1885,0.05766,0.2699,0.7886,2.058,23.56,0.008462,0.0146,0.02387,0.01315,0.0198,0.0023,15.11,19.26,99.7,711.2,0.144,0.1773,0.239,0.1288,0.2977,0.07259,1 ``` 下面表格給出了每一列資料代表的含義： | 列數 | 含義 |列數 | 含義 |列數 | 含義 | |--|--|--|--|--|--| | 1 | 半徑平均值 | 11 | 半徑標準差 | 21 | 半徑最大值 | | 2 | 文理平均值 | 12 | 文理標準差 | 22 | 文理最大值 | | 3 | 周長平均值 | 13 | 周長標準差 | 23 | 周長最大值 | | 4 | 面積平均值 | 14 | 面積標準差 | 24 | 面積最大值 | | 5 | 平滑程度平均值 | 15 | 平滑程度標準差 | 25 | 平滑程度最大值 | | 6 | 緊密度平均值 | 16 | 緊密度標準差 | 26 | 緊密度最大值 | | 7 | 凹度平均值 | 17 | 凹度標準差 | 27 | 凹度最大值 | | 8 | 凹縫平均值 | 18 | 凹縫標準差 | 28 | 凹縫最大值 | | 9 | 對稱性平均值 | 19 | 對稱性標準差 | 29 | 對稱性最大值 | | 10 | 分形維數平均值 | 20 | 分形維數標準差 | 30 | 分形維數最大值 | 最後一列的含義表示：是否是良性腫瘤，0 表示惡性腫瘤，1 表示是良性腫瘤。 我們可以用 `load_breast_cancer` 函式來載入該資料集： ```python from sklearn.datasets import load_breast_cancer data = load_breast_cancer() ``` `feature_names` 屬性儲存了每列資料的含義： ```python >
>> print data.feature_names ['mean radius' 'mean texture' 'mean perimeter' 'mean area' 'mean smoothness' 'mean compactness' 'mean concavity' 'mean concave points' 'mean symmetry' 'mean fractal dimension' 'radius error' 'texture error' 'perimeter error' 'area error' 'smoothness error' 'compactness error' 'concavity error' 'concave points error' 'symmetry error' 'fractal dimension error' 'worst radius' 'worst texture' 'worst perimeter' 'worst area' 'worst smoothness' 'worst compactness' 'worst concavity' 'worst concave points' 'worst symmetry' 'worst fractal dimension'] ``` `data` 屬性儲存了特徵值： ```python >
>> print data.data [[1.799e+01 1.038e+01 1.228e+02 ... 2.654e-01 4.601e-01 1.189e-01] [2.057e+01 1.777e+01 1.329e+02 ... 1.860e-01 2.750e-01 8.902e-02] [1.969e+01 2.125e+01 1.300e+02 ... 2.430e-01 3.613e-01 8.758e-02] ... [1.660e+01 2.808e+01 1.083e+02 ... 1.418e-01 2.218e-01 7.820e-02] [2.060e+01 2.933e+01 1.401e+02 ... 2.650e-01 4.087e-01 1.240e-01] [7.760e+00 2.454e+01 4.792e+01 ... 0.000e+00 2.871e-01 7.039e-02]] ``` `target` 屬性儲存了目標值： ```python >
>> print data.target [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 1 1 0 0 1 0 0 1 1 1 1 0 1 0 0 1 1 1 1 0 1 0 0 1 0 1 0 0 1 1 1 0 0 1 0 0 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 0 0 0 1 0 0 1 1 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 0 1 0 1 1 0 0 1 1 0 0 1 1 1 1 0 1 1 0 0 0 1 0 1 0 1 1 1 0 1 1 0 0 1 0 0 0 0 1 0 0 0 1 0 1 0 1 1 0 1 0 0 0 0 1 1 0 0 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 1 0 0 1 0 1 1 1 1 0 1 1 1 1 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 1 0 1 1 0 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 0 1 1 1 1 0 0 0 1 1 1 1 0 1 0 1 0 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 1 0 0 0 1 0 0 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 0 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 0 1 1 1 1 1 0 1 1 0 1 0 1 1 0 1 0 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 1 0 1 1 0 1 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 0 1 1 0 1 0 1 0 0 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 1] ``` ### 3，資料預處理 我們知道資料集的前 30 列是特徵值，最後一列是目標值。通過觀察特徵值可知，30 列的特徵值，共有10 個維度，可以分為三大類： - 前 10 列是每個維度的平均值。 - 中 10 列是每個維度的標準差。 - 後 10 列是每個維度的最大值。 因此，我們在訓練 SVM 模型時，可以只選擇其中一類作為訓練集時的特徵值。 比如，這裡我們選擇前 10 列特徵作為訓練特徵（後 20 列忽略）： ```python >>> features = data.data[:,0:10] # 特徵集 >>> labels = data.target # 目標集 ``` 將資料拆分為訓練集和測試集： ```python from sklearn.model_selection import train_test_split train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size=0.33, random_state=0) ``` 採用 Z-Score 規範化資料： ```python from sklearn.preprocessing import StandardScaler ss = StandardScaler() train_features = ss.fit_transform(train_features) test_features = ss.transform(test_features) ``` ### 4，構造分類器 下面使用 SVC 類構造 SVM 分類器： ```python from sklearn.svm import SVC svc = svm.SVC() # 均使用預設引數 ``` 訓練模型： ```python svc.fit(train_features, train_labels) ``` 用模型做預測： ```python prediction = svc.predict(test_features) ``` 判斷模型準確率： ```python from sklearn.metrics import accuracy_score score = accuracy_score(test_labels, prediction) >>> print score 0.9414893617021277 ``` 可以看到準確率為 **94%**，說明訓練效果還是很不錯的。 [這裡](https://scikit-learn.org/stable/auto_examples/svm/plot_linearsvc_support_vectors.html)是一個關於線性分類器 **LinearSVC** 的示例，你可以瞭解一下。 ### 5，總結 **sklearn** 中實現了 SVM 演算法，這裡我們展示瞭如何用它處理實際問題。 除了 **sklearn**，[LIBSVM](https://www.csie.ntu.edu.tw/~cjlin/libsvm/index.html) 也實現了 SVM 演算法，這也是一個非常出名的庫，你可以自行研究一下。 （本節完。） --- **推薦閱讀：** [SVM 支援向量機演算法-原理篇](https://www.cnblogs.com/codeshell/p/14301569.html) [AdaBoost 演算法-分析波士頓房價資料集](https://www.cnblogs.com/codeshell/p/14149923.html) [RandomForest 隨機森林演算法與模型引數的調優](https://www.cnblogs.com/codeshell/p/14296450.html) [決策樹演算法-實戰篇-鳶尾花及波士頓房價預測](https://www.cnblogs.com/codeshell/p/13984334.html) [Apriori 演算法-如何進行關聯規則挖掘](https://www.cnblogs.com/codeshell/p/14113600.html) --- *歡迎關注作者公眾號，獲取更多技術乾貨。* ![碼農充電站pro](https://img-blog.csdnimg.cn/20200505082843773.png?#pic

相關推薦

SVM 支援向量機演算法-實戰篇

> **公號：碼農充電站pro** > **主頁：** [上一篇](https://www.cnblogs.com/codeshell/p/14301569.html)介紹了 SVM 的原理和一些基本概念，本篇來介紹如何用 SVM 處理實際問題。 ### 1，SVM 的實現 **SVM 演算法**即可以

SVM 支援向量機演算法-原理篇

> **公號：碼農充電站pro** > **主頁：** 本篇來介紹**SVM 演算法**，它的英文全稱是 *Support Vector Machine*，中文翻譯為**支援向量機**。 之所以叫作支援向量機，是因為該演算法最終訓練出來的模型，由一些**支援向量**決定。所謂的支援向量，也就是能夠決定最終

SVM-支援向量機演算法概述 ---一篇非常深入淺出介紹SVM的文章

（一）SVM的背景簡介 支援向量機(Support Vector Machine)是Cortes和Vapnik於1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，並能夠推廣應用到函式擬合等其他機器學習問題中[10]。 支援向量機方法是建立在

SVM支援向量機方法——故事篇

一、什麼是SVM？ Mark一個我從百度找來的一個故事：劉強西救愛人           很久以前的情人節，魔鬼搶走了旅店老闆劉強西的愛人，劉強西便發誓要救他的愛人。           來到魔鬼的城堡前，魔鬼和他玩了一個遊戲，只要他通過了就放走他的愛人。        

SVM-支援向量機演算法概述

（一）SVM的背景簡介 支援向量機(Support Vector Machine)是Cortes和Vapnik於1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，並能夠推廣應用到函式擬合等其他機器學習問題中[10]。 支援向量機方法是建立在

SVM支援向量機-《機器學習實戰》SMO演算法Python實現（5）

經過前幾篇文章的學習，SVM的優化目標，SMO演算法的基本實現步驟，模型對應引數的選擇，我們已經都有了一定的理解，結合《機器學習實戰》，動手實踐一個基本的SVM支援向量機，來完成一個簡單的二分類任務。建立模型之前，首先看一下我們的資料，然後再用支援向量機實現分類：     

機器學習實戰——SVM支援向量機 實現記錄

問題：TypeError: data type not understood alphas = mat(zeros(m,1)) 原因是zeros(())格式不對，更改後： alphas = mat(zeros((m,1))) 問題：關於IDLE中換行，回車前面出現很多空格的情況

機器學習演算法——SVM(支援向量機)

文章目錄 1. SVM簡介 2. SVM的一些概念 2.1 函式間隔與幾何間隔 2.2 支援向量 3. SVM模型目標函式與優化 3.1 SVM模型目標函式的推導(線性可分)

斯坦福CS229機器學習筆記-Lecture8- SVM支援向量機 之核方法 + 軟間隔 + SMO 演算法

作者：teeyohuang 本文系原創，供交流學習使用，轉載請註明出處，謝謝 宣告：此係列博文根據斯坦福CS229課程，吳恩達主講 所寫，為本人自學筆記，寫成部落格分享出來           博文中部分圖片和公式都來源於CS229官方notes。      

機器學習實戰【5】（SVM-支援向量機）

本部落格記錄《機器學習實戰》（MachineLearningInAction）的學習過程，包括演算法介紹和python實現。 SVM（支援向量機） SVM是一種分類演算法，通過對訓練集資料的分析找到最好的分隔平面，然後用該平面對新資料進行分類。本

【機器學習演算法-python實現】svm支援向量機(3)—核函式

1.背景知識 前面我們提到的資料集都是線性可分的，這樣我們可以用SMO等方法找到支援向量的集合。然而當我們遇到線性不可分的資料集時候，是不是svm就不起作用了呢？這裡用到了一種方法叫做核函式，它將低

機器學習實戰系列（五）：SVM支援向量機

課程的所有資料和程式碼在我的Github：Machine learning in Action，目前剛開始做，有不對的歡迎指正，也歡迎大家star。除了 版本差異，程式碼裡的部分函式以及程式碼正規化也和原書不一樣（因為作者的程式碼實在讓人看的彆扭，我改過後看起來舒服多了）

SVM支援向量機-拉格朗日，對偶演算法的初解

許多地方得SVM講得都很晦澀，不容易理解，最近看到一篇不錯的博文寫得很好，同時加上自己的理解，重新梳理一下知識要點 http://blog.csdn.net/zouxy09/article/details/17291543 一、引入 SVM是個分類器。我們知道，分類的目的

PYTHON機器學習實戰——SVM支援向量機

支援向量機不是很好被理解，主要是因為裡面涉及到了許多數學知識，需要慢慢地理解。理論知識參考：http://www.cnblogs.com/steven-yang/p/5658362.html 一下附上原始碼：#-*- coding:utf-8 -*- #!/usr/bin/

『資料探勘十大演算法 』筆記二：SVM-支援向量機

資料探勘Top 10演算法 C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART 支援向量機 支援向量機，英文為Support Ve

[機器學習]svm支援向量機介紹

1 什麼是支援向量機 支援向量機是一種分類器，之所以稱為 機 是因為它會產生一個二值決策結果，即它是一個決策機。 ​​​Support Vector Machine, 一個普通的SVM就是一條直線罷了，用來完美劃分linearly separable的兩類。但這又不是一條

【SVM-tutorial】SVM-支援向量機綜述

原文地址：https://www.svm-tutorial.com/ （這篇文章是翻譯 Alexandre KOWALCZYK 的SVM tutorial ，這篇tutorial 寫的很詳細，沒有很好的數學背景的同學也可以看的懂，作者細心的從最基礎的知識講起，帶領我們一步步的認識這個複雜

SVM(支援向量機)

Basically, the support vector machine is a binary learning machine with some highly elegant properties. Given a training sample, the support vector machi

機器學習 （十一） SVM-支援向量機

春夜喜雨 好雨知時節，當春乃發生。 隨風潛入夜，潤物細無聲。 野徑雲俱黑，江船火獨明。 曉看紅溼處，花重錦官城。 前言         週末很多城市下開了雨，下雨中也不乏忙忙碌碌的人們，有的天不亮已經忙碌匆

SVM支援向量機系列理論（九） 核嶺迴歸

1. 嶺迴歸問題 嶺迴歸就是使用了L2正則化的線性迴歸模型。當碰到資料有多重共線性時（自變良量存在高相關性），我們就會用到嶺迴歸。 嶺迴歸模型的優化策略為： minw    1N∑i(yi−w⋅zi)2+λNwTw&nbs