9.支撐向量機-SVM
阿新 • • 發佈:2019-02-12
SVM要最大化margin,而margin=2d,所以問題轉化為最大化d.
SVM演算法最終的最優化問題:
s.t. 表示subject to,它後面的式子表示約束條件。
這個最優化問題是Hard Margin SVM問題,它假設資料是線性可分的。
Soft Margin SVM:
核函式:
變化後的項中有一部分是xi*xj,也就是對於任意兩個樣本點的x值點乘。在多項式求解的時候需要對xi新增多項式項形成x`i,對xj新增多項式項形成x`j,然後再將二者進行點乘。所以如果能找到一個函式K,將xi和xj分別作為引數傳入,返回的就是x`i和x`j點乘的結果,那麼我們就不需要分別運算再相乘,並且也節省了空間(因為不需要將低維的資料變形為高維的資料進行儲存,可以利用K函式直接計算出結果)。這個K就是核函式(Kernel Function)。
高斯核函式:
高斯核函式也叫RBF核(Radial Basis Function Kernel)
對於高斯核函式,每一個數據點都是landmark,也就是對於每一個x,它都要嘗試對於每一個樣本y進行核函式的計算,成為新的高維資料。
將原來m*n的資料對映成了m*m的資料,如果m非常大,那麼經過高斯核函式後,就對映成了一個非常高維空間的資料點。