1. 程式人生 > >9.支撐向量機-SVM

9.支撐向量機-SVM

SVM要最大化margin,而margin=2d,所以問題轉化為最大化d.

SVM演算法最終的最優化問題:

s.t. 表示subject to,它後面的式子表示約束條件。

這個最優化問題是Hard Margin SVM問題,它假設資料是線性可分的。

Soft Margin SVM:

核函式:

變化後的項中有一部分是xi*xj,也就是對於任意兩個樣本點的x值點乘。在多項式求解的時候需要對xi新增多項式項形成x`i,對xj新增多項式項形成x`j,然後再將二者進行點乘。所以如果能找到一個函式K,將xi和xj分別作為引數傳入,返回的就是x`i和x`j點乘的結果,那麼我們就不需要分別運算再相乘,並且也節省了空間(因為不需要將低維的資料變形為高維的資料進行儲存,可以利用K函式直接計算出結果)。這個K就是核函式(Kernel Function)。

高斯核函式:

高斯核函式也叫RBF核(Radial Basis Function Kernel)

對於高斯核函式,每一個數據點都是landmark,也就是對於每一個x,它都要嘗試對於每一個樣本y進行核函式的計算,成為新的高維資料。

將原來m*n的資料對映成了m*m的資料,如果m非常大,那麼經過高斯核函式後,就對映成了一個非常高維空間的資料點。