概述

Support Vector Machine（SVM），譯作支撐向量機。不同的核函式有不同的作用，線性核、多項式核可以做迴歸問題。高斯核用作分類問題。從名字含有Support Vector，可以猜想是一種關注個別向量的演算法，實際上也確實是。

在分類問題中，假設線性可分，我們要找到一個能把兩簇資料分隔開的超平面。思路是通過兩簇資料的相鄰邊界上的代表點（支撐向量），如果把這些特殊的代表點有效分開了，就把兩簇資料分開了。

因為只關注個別點，所以特徵轉換可以隨意些。

推導

(參考的臺灣大學課程《機器學習技法》）

目標是在所有線性可分點中，找到距離分割面距離最近的點，使得這些點到面的距離儘可能的大。如果分割中最危險的點都被很好的分開，那麼認為這個分割面分割效果很好。

在二維平面中：



其中KKT條件彙總為：

啟示

基本模型是通過最大最小問題，找到支撐向量，演算法其他引數都能通過支撐向量匯出。

線性不可分情況

上面推導是資料完全線性可分基礎上。為增加泛華能力，引入鬆弛因子和約束條件。C越大，泛華能力越低，C無窮大時，退化成線性可分支援向量機。C越小，過渡帶越寬，泛化能力越強。

除了引入鬆弛因子，還可以引用特徵轉換，也就是引入核函式。把x對映的高維中，把低緯空間不可分轉換到高維可分中。其中高斯核函式把資料對映的無窮維。