前言

學習前幾章很順利，然後就覺得機器學習也不過如此，但學到這章時，發現如果沒有一點理論基礎，是看不懂的（如果不想看懂理論，可直接使用MLiA書上例子，只要知道怎麼把資料組織成演算法支援的資料型別即可），回想起看前幾章為什麼能這麼順利，原因是之前看過一堆相關視訊和書籍。
所以，從本章開始，會先給出相關的理論，然後再舉例並進行原始碼分析。如果想看演算法的效果，可直接上程式碼，這樣會有一個直觀的認識，會加深後續對理論的理解。
學SVM這個知識點卡了我好久了，離上次機器學習相關的部落格都已經三個多月了，雖然SVM還有好多知識點沒弄明白，但是先進行下去，到時候再回來弄清楚每個知識點。

SVM所需要的背景知識

• 拉格朗日乘數法，可參考《高等數學 第7版》同濟大學下冊 第九章“多元函式微分法”第八節多元函式的極值及其求法中和拉格朗日乘數法相關的內容。
• 凸優化
• ​

支援向量機

間隔與支援向量

MLiA書上說，有些人認為SVM是最好的現成的（指分類器不加修改即可直接使用）分類器。SVM有很多實現，如SMO(Sequential Minimal Optimization, 序列最小優化)演算法和kernel（核函式）演算法。

要把給定的資料分隔開就需要一個分隔超平面，二維資料的分隔超平面就是一條線，三維的就是面，總之分隔超平面的維度就是所給定的資料維度減一維。我們的目標是找到離分隔超平面最近的點，確保它們離分隔超平面的距離儘可能遠

。這裡點到分隔超平面的距離被稱為間隔。支援向量(support vector)就是離分隔超平面最近的那些點。

分隔超平面可通過如下線性方程描述：

wTx+b=0(1)$$\begin{array}{}\text{(1)}& w^{T}x+b=0\end{array}$$
其中w=(w1;w2;…;wd)$w=(w_1;w_2;\dots ;w_d)$為法向量，決定了超平面的方向; b$b$為位移項，決定了超平面與點之間的距離。顯然，分隔超平面可由法向量w$w$和位移b$b$確定。（摘至西瓜書P121底部）

要計算點A$A$到分隔超平面的距離，就需要給出點到分隔面的法線或垂線的長度，該值為：

r=|wTA+b|||w||(2)$$\begin{array}{}\text{(2)}& r=\frac{|w^{T}A+b|}{||w||}\end{array}$$
在Logistic迴歸一節介紹過分類函式Sigmoid，這裡也需要一個類似Sigmoid的分類函式f()，將這個分類函式作用於

wTx+b$w^{T}x+b$得到f(u)=f(wTx+b)$f(u)=f(w^{T}x+b)$，當u<0$u<0$時輸出-1，反之輸出+1,。和Logistic有所不同，那裡得到的類別是0或1。令
{wTxi+b≥+1,yi=+1;wTxi+b≤−1,yi=−1;(3)$$\begin{array}{}\text{(3)}& \{\begin{array}{l}{w}^T{x}_i+b\ge +1,y_i=+1;\\ w^T{x}_i+b\le -1,y_i=-1;\end{array}\end{array}$$
這裡注意：為什麼我們可以令其大於等於或小於等於1呢？不應該是0麼？周老師在附註中解釋：若超平面能將樣本正確分類，則總存在縮放變換使得上式(3)成立，但並未展開。可參考李航老師書：係數縮放變換，則上述左側值相應變，但超平面不變。不妨令其為1。此段摘至：https://blog.csdn.net/niaolianjiulin/article/details/77744247

支援向量，即距離超平面最近的幾個訓練樣本點，使上式等號成立。兩個異類（一個正類一個負類）支援向量到超平面的距離之和為

γ=2||w||(4)$$\begin{array}{}\text{(4)}& \gamma =\frac{2}{||w||}\end{array}$$
γ$\gamma$稱為間隔（margin）（這是西瓜書P122$P_{122}$上說的，和MLiA上說的點到分隔超平面的距離被稱為間隔，有點出入）。

想找到具有最大間隔的劃分超平面，也就是要找到能滿足式（3）中約束的引數w$w$和b$b$，使得γ$\gamma$最大，即

maxw,b2||w||s.t.yi∗(wTxi+b)≥1,i=1,2,…,m.(5)$$\begin{array}{}\text{(5)}& \underset{w,b}{max}\frac{2}{||w||}s.t.y_i\ast (w^T{x}_i+b)\ge 1,i=1,2,\dots ,m.\end{array}$$
yi∗(wTxi+b)$y_i\ast (w^T{x}_i+b)$中的yi$y_i$是label，MLiA上P

相關推薦

機器學習筆記(13)---支援向量機SVM

前言 學習前幾章很順利，然後就覺得機器學習也不過如此，但學到這章時，發現如果沒有一點理論基礎，是看不懂的（如果不想看懂理論，可直接使用MLiA書上例子，只要知道怎麼把資料組織成演算法支援的資料型別即可），回想起看前幾章為什麼能這麼順利，原因是之前看過一堆相關視

吳恩達機器學習筆記 —— 13 支援向量機

本章講述了SVM，相比於《統計學習方法》，從邏輯迴歸的角度更容易理解了。 從邏輯迴歸來看，看損失值與Z的值的關係： 代入原來的是指，可以化簡公式： 總結來說：如果y=1，我們希望z的值大於等於1，如果y=0，我們希望z的值小於-1，這樣損失函式的值都會為0. 線性可分的決策邊界： 但是這種情況對於

機器學習筆記之支援向量機

目的：給定二分類樣本集，想要找一個分離超平面。（魯棒性最好）其基本模型定義為特徵空間上的間隔最大的線性分類器，其學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解。 分析：超平面可以由以下方程確定 b為超平面和原點之間的距離，wT決定超平面的方向。樣

Stanford機器學習筆記-8. 支援向量機(SVMs)概述

8. Support Vector Machines(SVMs) Content 8. Support Vector Machines(SVMs) 　　　　　　8.1 Optimization Objection 　　　　　　8.2 Large margin intuition 　　　　　　8.

機器學習筆記8-支援向量機（3/3）

機器學習筆記8-支援向量機（3/3） scikit-learn中的SVM函式 機器學習庫scikit-learn中也集成了SVM的函式，可以方便的進行呼叫，可用來分類、迴歸和異常點檢測。 支援向量機的優點有： i)在高維空間效果很好 ii)當維度數大於樣本點數時，效果仍然不錯 i

python機器學習庫sklearn——支援向量機svm

支援向量機的優勢在於: 在高維空間中非常高效.即使在資料維度比樣本數量大的情況下仍然有效. 在決策函式（稱為支援向量）中使用訓練集的子集,因此它也是高效利用記憶體的. 通用性: 不同的核函式與特定的決策函式一一對應.常見的 kernel 已經提供,也

《機器學習實戰》學習筆記：支援向量機

該節的內容是支援向量機(SVM, support vectormachine)。 一.概念描述 支援向量機，就是通過最大化支援向量到分類超平面之間的分類間隔。分類超平面就是我們想要得到的決策曲面；支援向量就是離分類超平面最近的點，而間隔即為支援向量到分類

機器學習 --- 軟間隔支援向量機

一、軟間隔支援向量機直觀理解 之前所介紹的支援向量機形式都是要求所有的樣本都要能被正確地劃分，這又被稱作"硬間隔支援向量機"，當資料是帶有噪聲的，就可能會產生一些脫離群體的點。在實際情況中，採用硬間隔的方式難以確定合適的核函式使得訓練樣本在特徵空間中線性可分，即使能確定某個核函式能進行很好的劃分

統計學習方法_支援向量機SVM實現

由於在MNIST上執行SVM耗時過久，所以這裡使用了偽造的資料集，並使用線性核和多項式核進行實驗。 #!/usr/bin/env python3and # -*- coding: utf-8 -*- import time import random import log

Spark中元件Mllib的學習28之支援向量機SVM-方法1

支援向量機(Support Vector Machine，SVM)是Corinna Cortes和Vapnik等於1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，並能夠推廣應用到函式擬合等其他機器學習問題中。 SVM的

【機器學習實戰】支援向量機----分類庫和簡單訓練mnist

前面已經對mnist資料集進行了讀取，現在我們可以直接使用sklearn.svm模組中的演算法庫對mnist資料集進行訓練。 【svm模組】 演算法庫： sklearn.svm模組中提供了這些庫： 大概分成這幾類(除了svm_l1_min_c

cs229學習筆記之支援向量機

函式距離和幾何距離 設特徵和類標籤分別為x,y∈{−1,1}，定義分類器hw,b(x)=g(wTx+b)，g(z)={1−1z≥0z<0 函式距離 給定訓練樣本(x(i),y(i))，則函式距離r^(i)=y(i)(wTx(i)+b) 如果y(

《機器學習實戰》支援向量機的數學理解及程式實現

一、 引言最近在機器學習課上，學到的《機器學習實戰》第六章的支援向量機，這部分內容非常多，不僅要會程式設計和測試，還要理解它的數學基礎，這裡對這部分的學習進行一些總結。二、 SVM的數學原理從一個簡單的二分問題開始說吧：我們要把這兩類不同的點區分開，那麼在這個二維平面上就是找

機器學習實戰-55:支援向量機分類演算法(Support Vector Machine)

支援向量機分類演算法 支援向量機(Support Vector Machine)分類演算法屬於監督學習演算法。常用分類演算法包括：邏輯迴歸(Logistic Regression, LR)、K最近鄰(k-Nearest Neighbor, KNN)、樸素貝葉斯

機器學習筆記（八）-吳恩達視訊課程（支援向量機SVM）

1.支援向量機的優化目標 以下是新建的 SVM 的影象，左邊為y=1時，右邊為y=0時 然後進行轉換 2.SVM 被看做大邊界分類器（大間距）的情況 在y=1時，  >= 1   代價函式為0 在y=0時，  <=-

Spark機器學習系列之13： 支援向量機SVM

C−SVM基本公式推導過程 下面摘抄一小部分內容（不考慮推導細節的話，基本上能理解C-SVM方法推導的整個流程）. 我們用一個超平面劃分圖中對圖中的兩類資料進行分類，超平面寫成f(x)=wTx+b=0,線上性可分的情況下，我們能找到一

王小草【機器學習】筆記--支援向量機SVM

標籤（空格分隔）： 王小草機器學習筆記 1.SVM的原理與目標 1.1 分割超平面 來看上圖，假設C和D是兩個不想交的凸集，則存在一個超平面P，這個P可以將C和D分離。 這兩個集合的距離，定義為兩個集合間元素的最短距離。 做集合C和集合

機器學習實戰（五）支援向量機SVM（Support Vector Machine）

目錄 0. 前言 1. 尋找最大間隔 2. 拉格朗日乘子法和KKT條件 3. 鬆弛變數 4. 帶鬆弛變數的拉格朗日乘子法和KKT條件 5. 序列最小優化SMO（Sequential Minimal Optimiz

吳恩達機器學習（第十三章）---支援向量機SVM

一、優化目標 邏輯迴歸中的代價函式：  畫出兩種情況下的函式影象可得： y=1: 我們找一條折線來近似表示這個函式影象 y=0：    我們用這兩條折線來近似表示原來的曲線函式可得新的代價函式（假設-log(h(x))為,-log(1

吳恩達機器學習 - 支援向量機(SVM) 吳恩達機器學習 - 支援向量機(SVM)

原 吳恩達機器學習 - 支援向量機(SVM) 2018年06月24日 14:40:42 離殤灬孤狼 閱讀數：218 更多