支援向量機（SVM）

@(資料探勘)[svm]

一、線性可分支援向量機和硬間隔最大化

1. 名詞解釋

   線性可分：就是指給定一組資料集T={(x1,y1),(x2,y2),⋯,(xN,yN)}$T=\left\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\right\}$，其中，xi∈χ=Rn,yi∈γ={+1,−1},i=1,2,⋯,N$x_i\in \chi =R^n,y_i\in \gamma =\left\{+1,-1\right\},i=1,2,\cdots ,N$，如果存在某個超平面S，w⋅x+b=0$w\cdot x+b=0$，能夠將整個資料集的正例項和負例項完全正確地劃分到超平面的兩側，則稱這個資料集T是線性可分資料集（linearly separable data set）；否則就是線性不可分的。
   硬間隔最大化，也就是線性可分支援向量機，線上性可分資料集上利用間隔最大化求最優分離超平面的過程

2. 首先從點到直線的距離發散到高維易知，|w⋅x+b|$\left|w\cdot x+b\right|$能夠相對的表示點x$x$到超平面的距離，而w⋅x+b$w\cdot x+b$的符號與類標記y$y$的符號是否一致能夠表示分類是否正確，所以：
   

   γi^=yi(w⋅x+b)$$\widehat{{\gamma }_i}=y_i(w\cdot x+b)$$
   可以用來表示資料集中每個點分類正確性和到分割超平面距離（也可以稱為分類置信度大小），也叫超平面(w,b)$(w,b)$關於樣本點(xi,yi)$(x_i,y_i)$的函式間隔。
   我們可以進一步定義超平面關於整個資料集T的函式間隔為資料集T中所有點到超平面函式間隔的最小值：
   γ̂ =mini=1,⋯,Nγi^$$\hat{\gamma }=\underset{i=1,\cdots ,N}{min}\widehat{{\gamma }_i}$$
   但是可以發現，我們同時按比例增大
   w$w$和b$b$，超平面仍然是w⋅x+b$w\cdot x+b$沒有變，但是函式間隔卻同樣按比例變化了，所以我們對分離超平面的法向量w$w$加了約束，使得‖w‖=1$\Vert w\Vert =1$，也就是間隔值不會改變，這時函式間隔變成了幾何間隔，記做：
   γi=yi(w‖w‖⋅x+b‖w‖)$${\gamma }_i=y_i(\frac{w}{\Vert w\Vert }\cdot x+\frac{b}{\Vert w\Vert })$$
   則同理資料集到超平面的幾何距離為：
   γ=mini=1,⋯,Nγi$$\gamma =\underset{i=1,\cdots ,N}{min}{\gamma }_i$$
3. 進一步，我們的線性可分支援向量機就變成了一個約束最優化問題：
   maxw,bγ$$\underset{w,b}{max}\gamma$$
   s.t.yi(w‖w‖⋅x+b‖w‖)⩾γ,i=1,2,⋯,N$$s.t.y_i(\frac{w}{\Vert w\Vert }\cdot x+\frac{b}{\Vert w\Vert })⩾\gamma ,i=1,2,\cdots$$
   ,N
   即是最大化幾何間隔的問題，接著根據函式間隔與幾何間隔的關係，我們易得：
   maxw,bγ̂ ‖w‖$$\underset{w,b}{max}\frac{\hat{\gamma }}{\Vert w\Vert }$$
   
   相關推薦

   支援向量機數學證明與推導（SVM）

   支援向量機（SVM） @(資料探勘)[svm] 一、線性可分支援向量機和硬間隔最大化 名詞解釋 線性可分：就是指給定一組資料集T={(x1,y1),(x2,y2),⋯,(x

   SVM支援向量機-SKlearn實現與繪圖（8）

   瞭解了SVM的基本形式與演算法實現，接下來用SKlearn實現支援向量機分類器.1.函式定義與引數含義先看一下SVM函式的完全形式和各引數含義：SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto’, coef0=0.0, shrink

   支援向量機—SMO演算法原始碼分析（1）

   支援向量機的理論支援在此不細說，可以參考李航的《統計學習》，還有西瓜書。 簡化版SMO演算法處理小規模資料集 SMO演算法是一種啟發式演算法。此簡化版首先在資料集上遍歷每一個alpha，然後在剩下的alpha集合中隨機選擇另一個alpha，從而建立alpha

   特徵選擇之支援向量機遞迴特徵消除（SVM-RFE）

   支援向量機遞迴特徵消除(下文簡稱SVM-RFE)是由Guyon等人在對癌症分類時提出來的，最初只能對兩類資料進行特徵提取。它是一種基於Embedded方法。 支援向量機 支援向量機廣泛用於模式識別，機器學習等領域，SVM採用結構風險最小化原則，同時最小化

   SVM支援向量機之證明SVM （三）

   1、線性學習器 感知機演算法 感知機演算法是1956年提出的，年代久遠，依然影響著當今，當然，可以肯定的是，此演算法亦非最優，後續會有更詳盡闡述。 不過有一點必須清楚，這個演算法的作用很簡單：不斷的訓練試錯，以期尋找一個合適的超平面。 感知機演算法的虛擬碼如

   支援向量機—SMO論文詳解（序列最小最優化演算法）

   SVM的學習演算法可以歸結為凸二次規劃問題。這樣的凸二次規劃問題具有全域性最優解，並且許多最優化演算法可以用來求解，但是當訓練樣本容量很大時，這些演算法往往變得非常低效，以致無法使用。論文《Sequential Minimal Optimization：A Fast Algori

   藍芽串列埠透傳-從機發送與接收（整理）

   1、從機通過串列埠傳送資料給主機（Notification:character4） //simpleBLEPeripheral.c //串列埠回撥函式 static void NpiSerialCallback(uint8 port,uint8 event

   支援向量機 (一)： 線性可分類 svm

   支援向量機（support vector machine， 以下簡稱 svm）是機器學習裡的重要方法，特別適用於中小型樣本、非線性、高維的分類和迴歸問題。本系列力圖展現 svm 的核心思想和完整推導過程，以饗讀者。 一、原理概述 機器學習的一大任務就是分類（Classification）。如下圖所示，假設一

   機器學習：SVM（一）——線性可分支援向量機原理與公式推導

   原理 SVM基本模型是定義在特徵空間上的二分類線性分類器（可推廣為多分類），學習策略為間隔最大化，可形式化為一個求解凸二次規劃問題，也等價於正則化的合頁損失函式的最小化問題。求解演算法為序列最小最優化演算法（SMO） 當資料集線性可分時，通過硬間隔最大化，學習一個線性分類器；資料集近似線性可分時，即存在一小

   詳解SVM系列（三）：線性可分支援向量機與硬間隔最大化

   支援向量機概覽（support vector machines SVM） 支援向量機是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大（間隔最大區別於感知機）線性分類器（核函式可以用非線性的分類）。 支援向量機的學習策略是間隔最大化可形式化為一個求解凸二次規劃的問題。 也等

   SVM支援向量機系列理論（七） 線性支援向量機與L2正則化 Platt模型

   7.1 軟間隔SVM等價於最小化L2正則的合頁損失 上一篇 說到， ξi ξ i \xi_i 表示偏離邊界的度量，若樣本點

   SVM支援向量機系列理論（三） 非線性支援向量機與核函式技巧

   3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核

   python opencv3.x中支援向量機（svm）模型儲存與載入問題

   親自驗證，可以解決svm的模型載入問題:     import numpy as np     from sklearn import datasets         &nb

   【機器學習】最小二乘法支援向量機LSSVM的數學原理與Python實現

   【機器學習】最小二乘法支援向量機LSSVM的數學原理與Python實現 一、LSSVM數學原理 1. 感知機 2. SVM 3. LSSVM 4. LSSVM與SVM的區別 二、LSSVM的py

   機器學習與深度學習系列連載： 第一部分 機器學習（九）支援向量機2（Support Vector Machine）

   另一種視角定義SVM：hinge Loss +kennel trick SVM 可以理解為就是hingle Loss和kernel 的組合 1. hinge Loss 還是讓我們回到二分類的問題，為了方便起見，我們y=1 看做是一類，y=-1 看做是另一類

   支援向量機之推導（二）

   SVM演算法要解決的是一個最優分類器的設計問題 線性SVM演算法的數學建模 一個最優化問題通常有兩個最基本的因素：1）目標函式，也就是你希望什麼東西的什麼指標達到最好；---- 分類間隔2）優化物件，你期望通過改變哪些因素來使你的目標函式達到最優。---決策面 線上性SVM演算法中，目標函式顯然就是那個

   詳解SVM系列（五）：非線性支援向量機與核函式

   對解線性分類問題，線性分類支援向量機是一種有效的方法。但是，有時分類問題是非線性的，這時可以使用非線性支援向量機。 核技巧 **非線性分類問題：**如上面左圖所示，能用 R

   詳解SVM系列（四）：線性支援向量機與軟間隔最大化

   線性支援向量機 線性可分問題的支援向量機學習方法，對線性不可分訓練資料是不適用的，因為這時上述方法的不等式約束並不能都成立。 舉2個例子： 如果沒有混入異常點，導致不能線性可分，則資料可以按上面的實線來做超平面分離的。 這種情況雖然不是不可分的，但是由於其中的一個藍色點不滿足線性

   機器學習數學原理（7）——SVM支援向量機

   機器學習數學原理（7）——SVM支援向量機 這篇博文筆者將預設讀者已經瞭解了最優間隔分類器以及泛化拉格朗日乘子法，如果部分讀者還不是很瞭解，我這裡給出前面一篇博文的連結《機器學習數學原理（6）——最優間隔分類器》。總之，這篇博文將不會再贅述相關的知識，而是直接給出其結論。 由於筆

   機器學習----支援向量機（軟間隔與正則化）

   Soft Margin 前面的假設一直都是線性可分，可是如果對所有樣本不能線性可分（比如有noisy）怎麼辦？或者過擬合怎麼辦？ 緩解該問題的一個方法就是允許支援向量機在一些樣本上出錯，為此引入軟間隔(soft margin)這個概念。即允許在一些樣本