2. 程式人生 > >機器學習----支援向量機（核函式）

機器學習----支援向量機（核函式）

阿新 • • 發佈：2019-01-29
#線性不可分 我們的SVM是找到一條分割直線，但是如果線性不可分怎麼辦？如下圖：

可以看出，是有一個明顯的分割線的，但是不是直線，這種情況下我們怎麼用SVM呢？我們可以找到一種變化，讓變換後的資料線性可分，用圖形象的表示為：

圖中的ϕ就是我們找到的線性變化。至此我們就能解決線性不可分問題。

核函式

我們接著說線性不可分問題。我們怎麼找ϕ呢？有個想法是這樣的：
比如原始資料滿足的是二次函式規律那把原來的X,擴充套件成[X | X2]的形式，這樣我們就又能進行線性迴歸了。同理，如果是三次，就擴充套件成[X | X2| X3],記作ϕ(x)。
正常線性可分問題dual問題為：

maxα∑ipαi−12∑i,j=1pyiyjαiαjxTi⋅xj
現在改寫成：
m
axα∑ipαi−12∑i,j=1pyiyjαiαjϕ(xi)T⋅ϕ(xj)
接下來我們就要說核函數了（kernel）。注意到先變換再內積的複雜（二維就是2×2，三維就是3×3），我們就像有沒有函式κ它滿足這樣優良的性質：
ϕ(xi)T⋅ϕ(xj)=κ(xi，xj)
即它能把問題變成先低維預算，再直接對映的效果，我們把κ就叫做核函式。
常見的核函式有：
名稱 表示式 引數
線性核 κ(xi,xj)=xTi⋅xj
多項式核 κ(xi,xj)=(xTi⋅xj)d d≥1為多項式的次數
高斯核 κ(xi,xj)=exp(−|
|xi−xj||22σ2)		 σ>0為高斯核的帶寬
拉普拉斯核 κ(xi,xj)=exp(−||xi−xj||σ) σ>0
Sigmoid核 κ(xi,xj)=tank(βxTi⋅xj+θ) tanh為雙曲正切函式，β>0,θ<0

下圖是高斯核的例子：


相關推薦

機器學習----支援向量機（核函式）

#線性不可分 我們的SVM是找到一條分割直線，但是如果線性不可分怎麼辦？如下圖： 可以看出，是有一個明顯的分割線的，但是不是直線，這種情況下我們怎麼用SVM呢？我們可以找到一種變化，讓變換後的資料線性可分，用圖形象的表示為： 圖中的ϕ就是我們

【機器學習】支援向量機（4）——非線性支援向量機（核函式）

前言 當訓練資料集線性可分或者近似線性可分時，前面我們在文一以及文二已經介紹了線性可分支援向量機和線性支援向量機。但是有時訓練資料集是非線性的，這時就可以使用非線性支援向量機。 非線性支援向量機的主要特點就是利用了核技巧。 非線性分類問題 如

機器學習 --- 支援向量機的核函式

一、核函式方法的直觀理解 線性向量機地分類效果可能並不是很好，難以分類非線性的問題，這就將引入核函式。 例如在二維平面中，難以通過線性的方法來處理異或問題，但是通過將輸入變數經過核函式 對映到三維空間中，那麼如上圖所示的線性超平面可以完成分類。   線上性不

機器學習--支援向量機（六）徑向基核函式（RBF）詳解

前面講解了什麼是核函式，以及有效核函式的要求，到這裡基本上就結束了，很多部落格也是如此，但是呢這些只是理解支援向量機的原理，如何使用它講解的卻很少，尤其是如何選擇核函式更沒有人講，不講也是有原因的，因為核函式的選擇沒有統一的定論，這需要使用人根據不同場合或者不同問題選擇核函式

機器學習--支援向量機（五）核函式詳解

前面我們曾經引入二維資料的非線性的情況，但是那種非線性（並不是真正意義上的非線性）是通過鬆弛因子進行優化的，如果資料比之前還複雜怎麼辦呢？ 複雜到即使你怎麼調節C你都無法進行分類，這個時候怎麼辦？如下例子： 這個無論你怎麼調節引數都無法在二維平面內進行線性分離了，但是

機器學習-支援向量機（SVM）演算法學習筆記

假設有訓練集D={(x1, y1), (x2, y2), ..., (xm, ym)}，yi{-1, 1}，分類學習最基本的想法就是基於訓練集D在樣本空間中找到一個劃分超平面，將不同類別的樣本分開。

機器學習——支援向量機（SVM）

本文主要參考吳恩達《機器學習》課程，以及網上各個大牛們的博文。 支援向量機，是一種對線性和非線性資料進行分類的方法。它按以下方法工作：使用一種非線性對映，把原訓練資料對映到較高的維上，在新的維上，它搜尋最佳分離超平面。使用到足夠高維上的、合適的非線性對映，兩個類的資料總可以

機器學習 - 支援向量機（SVM）目錄索引

SVM目錄索引 線性可分 SVM：硬間隔最大化 線性 SVM：軟間隔最大化 非線性 SVM：核技巧 序列最小最優化演算法 (SMO） 特點 優點：

機器學習----支援向量機（軟間隔與正則化）

Soft Margin 前面的假設一直都是線性可分，可是如果對所有樣本不能線性可分（比如有noisy）怎麼辦？或者過擬合怎麼辦？ 緩解該問題的一個方法就是允許支援向量機在一些樣本上出錯，為此引入軟間隔(soft margin)這個概念。即允許在一些樣本

機器學習---支援向量機實戰（四）核函式實現

這節和上一節很像，不同的是，上一篇的是通過支援向量和待分類資料內積進行分類的，只是這裡不同的是，在計算內積時使用核函式進行代替，這裡參考的是機器學習實戰中的核函式，如果前面理解的比較深入，讀程式碼還是很簡單的，這裡的程式碼建議不要剛開始就去讀核函式定義，建議先從測試核函式的程

公開課機器學習筆記（13）支援向量機三 核函式

2.2、核函式Kernel 2.2.1、特徵空間的隱式對映：核函式     咱們首先給出核函式的來頭：在上文中，我們已經瞭解到了SVM處理線性可分的情況，而對於非線性的情況，SVM 的處理方法是選擇一個核函式 κ(⋅,⋅) ，通過將資料對映到高維空間，來解決在原始空

【機器學習演算法-python實現】svm支援向量機(3)—核函式

1.背景知識 前面我們提到的資料集都是線性可分的，這樣我們可以用SMO等方法找到支援向量的集合。然而當我們遇到線性不可分的資料集時候，是不是svm就不起作用了呢？這裡用到了一種方法叫做核函式，它將低

機器學習——支援向量機SVM之核函式

1、在現實任務中，原始樣本空間也許不存在一個能正確劃分兩類樣本的超平面，雖然“軟間隔”概念的引入在一定程度上緩解了該問題，但是當樣本分佈的非線性程度很高的時候，“軟間隔”也無法解決這一問題 2、對於這類問題，SVM的處理方法是選擇一個核函式，其通過將資料對映到更高維

《機器學習》 周志華學習筆記第六章 支援向量機（課後習題）python 實現

一、 1.間隔與支援向量 2.對偶問題 3.核函式 xi與xj在特徵空間的內積等於他們在原始yangben空間中通過函式k(.,.)計算的結果。 核矩陣K總是半正定的。 4.軟間隔與正則化 軟間隔允許某些samples不滿足約束  鬆弛變數 5.支援

SVM支援向量機系列理論（三） 非線性支援向量機與核函式技巧

3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核

機器學習——支援向量機SVM（一）

在之前做數學建模的時候就有使用過支援向量機的有關知識，但是對於支援向量機的理解一直不是很深刻，尤其是數學推導部分還是存在一些問題。在最近看周志華西瓜書的過程中同樣發現這一問題，西瓜書中對支援向量機的講解部分不是很詳細，所以我又查找了其他的資料。 支援向量機是一種原創性（非組

詳解SVM系列（五）：非線性支援向量機與核函式

對解線性分類問題，線性分類支援向量機是一種有效的方法。但是，有時分類問題是非線性的，這時可以使用非線性支援向量機。 核技巧 **非線性分類問題：**如上面左圖所示，能用 R

機器學習筆記8-支援向量機（3/3）

機器學習筆記8-支援向量機（3/3） scikit-learn中的SVM函式 機器學習庫scikit-learn中也集成了SVM的函式，可以方便的進行呼叫，可用來分類、迴歸和異常點檢測。 支援向量機的優點有： i)在高維空間效果很好 ii)當維度數大於樣本點數時，效果仍然不錯 i

機器學習--支援向量機通俗導論（理解SVM的三層境界）

            支援向量機通俗導論（理解SVM的三層境界） 作者：July 。致謝：pluskid、白石、JerryLead。 說明：本文最初寫於2012年6月，而後不斷反反覆覆修改&優化，修改次數達上百次，最後修改於2016年11月。 前言

林軒田--機器學習技法--SVM筆記2--對偶支援向量機（dual+SVM）

對偶支援向量機 咦？怎麼還有關於支援向量機的內容，我們不是在上一講已經將支援向量機解決了麼？怎麼又引入了對偶這個概念？ 1.動機 我們在上一講已經講過，可以使用二次規劃來解決支援向量機的問題。如果現在想要解決非線性的支援向量機的問題，也很簡單，如下圖所