本部落格記錄《機器學習實戰》（MachineLearningInAction）的學習過程，包括演算法介紹和python實現。

SVM（支援向量機）

SVM是一種分類演算法，通過對訓練集資料的分析找到最好的分隔平面，然後用該平面對新資料進行分類。本篇文章介紹SVM的總體思路，通過一些數學推導把初始問題不斷簡化，最後轉化為一個比較簡單的二次優化問題。

線性二分類器

設想二維平面上的一組資料點，分為兩個類別：

用平面上的直線wx+b=0（w和x是向量）來對資料進行分類，而SVM的目的就是找到最好的一條直線。這條直線需要滿足兩個條件，一是把兩類資料完全分開，即同一類的資料落在直線的一邊，二是兩類資料中最靠近直線的那些點（稱為支援向量）離直線的距離必須儘可能的大。在圖中直觀的體現就是直線兩邊的空白間隔區儘可能地大。

幾何間隔

點到直線的距離（推廣到高階就是點到超平面的距離）稱為幾何間隔（Geometrical margin），計算公式如下，其中的分子y(wx+b)稱為函式間隔：

g=y(wx+b)||w||
上式中的y表示資料點的類別，在直線上方的點類別為1，下方為-1，這使得有錯誤分類點的那些直線會得到負的幾何間隔，從而被篩選掉。
現在我們可以通過幾何間隔來描述最優直線的條件，設g是資料集中離直線最近的點到直線的幾何間隔，gi表示某個資料點到直線的幾何間隔，則問題描述為:
maxg,s.t.,gi≥g
即最大化資料集中最小的幾何間隔。
接著繼續對問題進行簡化，函式間隔的大小可以通過成倍地改變w來改變，直線本身卻不會變化，這意味可以取合適的值使得這些支援向量與直線的函式間隔為1，這樣，問題就變成：
max

1||w||,s.t.,yi(wxi+b)≥1
進一步分析，該式又等價於：
min12||w||2,s.t.,yi(wxi+b)≥1
這是一個帶約束的二次優化問題，可以通過拉格朗日對偶的方法來解決。

拉格朗日對偶

通過引入拉格朗日乘子把條件統一到式子中進行優化，構造拉格朗日函式，其中α>0：

L(w,b,α)=12||w||2−∑i=1nαi(yi(wxi+b)−1)
將α作為自變數求取該式的最大值，可以得到：
maxα:αi>0L(w,b,α)={12||w||2,∞,條件滿足否則
這樣，問題：
min12||w||2,s.t.,yi(wxi+b)≥1
就等價於問題：
min

w,bmaxα:αi≥0L(w,b,α)
即先以α為變數最大化拉格朗日函式，再以w,b為變數將其最小化。
交換求最值的順序，得到原問題的對偶問題：
maxα:αi≥0minw,bL(w,b,α)
這個對偶問題更易求解，並且在滿足kkt條件的情況下，兩者的解相同，於是問題又轉化為求對偶問題的解。
首先固定α求解函式值最小化時的引數w,b。分別另函式對w和b的導數為0，分別得到：
w=∑i=1naiyixi
∑i=1naiyi=0
把這兩個式子帶回原式經過一番化簡，消去w,b得到：
L(w,b,α)=∑i=1nαi−

相關推薦

機器學習實戰【5】（SVM-支援向量機）

本部落格記錄《機器學習實戰》（MachineLearningInAction）的學習過程，包括演算法介紹和python實現。 SVM（支援向量機） SVM是一種分類演算法，通過對訓練集資料的分析找到最好的分隔平面，然後用該平面對新資料進行分類。本

機器學習實戰【4】（邏輯迴歸）

本部落格記錄《機器學習實戰》（MachineLearningInAction）的學習過程，包括演算法介紹和python實現。 邏輯迴歸 對於一個數據集中的樣本，將其每個特徵乘上一個對應的係數，然後輸入sigmoid函式中把結果對映到0-1區間內，

機器學習知識點查漏補缺（支持向量機）

技巧 條件 blog 更多 nbsp pos .com 最優化 應該 一、模型概念 支持向量機的模型基本模型是建立在特征空間上的最大間隔線性分類器，通過使用核技巧，可以使它成為非線性分類器。 當訓練數據線性可分時，通過硬間隔最大化，學習一個線性分類器，即線性可分支持向量

吳恩達機器學習作業Python實現(六)：SVM支援向量機

1 Support Vector Machines 1.1 Example Dataset 1 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot

用Python開始機器學習（8：SVM支援向量機）

SVM支援向量機是建立於統計學習理論上的一種分類演算法，適合與處理具備高維特徵的資料集。SVM演算法的數學原理相對比較複雜，好在由於SVM演算法的研究與應用如此火爆，CSDN部落格裡也有大量的好文章對此進行分析，下面給出幾個本人認為講解的相當不錯的：支援向量機通俗導論（理解S

SVM支援向量機-《機器學習實戰》SMO演算法Python實現（5）

經過前幾篇文章的學習，SVM的優化目標，SMO演算法的基本實現步驟，模型對應引數的選擇，我們已經都有了一定的理解，結合《機器學習實戰》，動手實踐一個基本的SVM支援向量機，來完成一個簡單的二分類任務。建立模型之前，首先看一下我們的資料，然後再用支援向量機實現分類：     

【機器學習演算法-python實現】svm支援向量機(3)—核函式

1.背景知識 前面我們提到的資料集都是線性可分的，這樣我們可以用SMO等方法找到支援向量的集合。然而當我們遇到線性不可分的資料集時候，是不是svm就不起作用了呢？這裡用到了一種方法叫做核函式，它將低

機器學習實戰系列（五）：SVM支援向量機

課程的所有資料和程式碼在我的Github：Machine learning in Action，目前剛開始做，有不對的歡迎指正，也歡迎大家star。除了 版本差異，程式碼裡的部分函式以及程式碼正規化也和原書不一樣（因為作者的程式碼實在讓人看的彆扭，我改過後看起來舒服多了）

機器學習實戰——SVM支援向量機 實現記錄

問題：TypeError: data type not understood alphas = mat(zeros(m,1)) 原因是zeros(())格式不對，更改後： alphas = mat(zeros((m,1))) 問題：關於IDLE中換行，回車前面出現很多空格的情況

機器學習實戰筆記5—支援向量機

注：此係列文章裡的部分演算法和深度學習筆記系列裡的內容有重合的地方，深度學習筆記裡是看教學視訊做的筆記，此處文章是看《機器學習實戰》這本書所做的筆記，雖然演算法相同，但示例程式碼有所不同，多敲一遍沒有壞處，哈哈。（裡面用到的資料集、程式碼可以到網上搜索，很容易找到。）。Python版本3.6

機器學習 （十一） SVM-支援向量機

春夜喜雨 好雨知時節，當春乃發生。 隨風潛入夜，潤物細無聲。 野徑雲俱黑，江船火獨明。 曉看紅溼處，花重錦官城。 前言         週末很多城市下開了雨，下雨中也不乏忙忙碌碌的人們，有的天不亮已經忙碌匆

NG機器學習總結-（七）SVM支援向量機

一、損失函式 在邏輯迴歸中，我們的預測函式和損失函式為： 預測函式： 損失函式： 我們知道當y分別是1和0的時候，其cost函式如下黑色曲線部分： 不難看出，當 y=1時，隨著 z 取值變大，預測損失變小，因此，邏輯迴歸想要在面對正樣本 y=1時

機器學習實戰—第5章：Logistic迴歸中程式清單5-1中的數學推導

如圖中梯度上升法給出的函式程式碼。 假設函式為： 1、梯度上升演算法（引數極大似然估計值）： 通過檢視《統計學習方法》中的模型引數估計，分類結果為類別0和類別1的概率分別為： 則似然函式為： 對數似然函式為： 最大似然估計求使得對數似然函式取最大值時的引數

【機器學習基礎】軟間隔支援向量機

引言 在上一小節中，我們介紹了核支援向量機。於是，不管是簡單的問題還是複雜的問題，我們都可以做得到。 然而，像高斯核的方法太複雜了，可能造成過擬合的問題。導致過擬合的現象的原因有可能是你選擇特徵轉換太強大了，導致無法用最大間隔的方法控制模型的複雜度，還有一個

機器學習數學原理（7）——SVM支援向量機

機器學習數學原理（7）——SVM支援向量機 這篇博文筆者將預設讀者已經瞭解了最優間隔分類器以及泛化拉格朗日乘子法，如果部分讀者還不是很瞭解，我這裡給出前面一篇博文的連結《機器學習數學原理（6）——最優間隔分類器》。總之，這篇博文將不會再贅述相關的知識，而是直接給出其結論。 由於筆

機器學習實戰-第六章（支援向量機）

1 拉格朗日乘子法(等式約束)： 目標函式：f(x)=b+wTxi+∑(αihi),s.t.hi=0 最優解條件：∂h∂xi=0 2 kkt(不等式約束)： 目標函式：f(x)=b+wTxi+∑(αigi)+∑(βihi),s.t.hi=0,gi≤0

吳恩達《deeplearning深度學習》課程學習筆記【1】（精簡總結）

畢業以後就沒再寫過部落格，又想起來了。 Ps：本文只是個人筆記總結，沒有大段的詳細講解，僅僅是將自己不熟悉和認為重要的東西總結下來，算是一個大綱，用的時候方便回憶和查詢。 Ps2：部分筆記內容見圖片。 相關課程內容 一、神經網路和深度學習 第一週 深

《機器學習實戰》5.Logistic迴歸原始碼實現

結合原始碼分析第五章中實現的Demo 執行環境：Anaconda——Jupyter Notebook Python版本為：3.6.2（原書程式碼實現為2.x 所以在一些程式碼上略有改動） 參考資料: 閱讀本文你將獲得如下知識： 1.LR的基本

機器學習總結（三）：SVM支援向量機（面試必考）

基本思想：試圖尋找一個超平面來對樣本分割，把樣本中的正例和反例用超平面分開，並儘可能的使正例和反例之間的間隔最大。 演算法推導過程： （1）代價函式：假設正類樣本y =wTx+ b>=+1,負

機器學習實戰 第二章KNN（1）python程式碼及註釋

#coding=utf8 #KNN.py from numpy import * import operator def createDataSet(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) #我覺