一、原理

1. 線性可分支援向量機

問題的輸入輸出
X = {x1,x2,...,xn$x_1,x_2,...,x_n$}
Y = {+1, -1}

模型：
感知機的目的是找到一個可以正確分類資料的超平面S：ω⋅x+b=0$\omega \cdot x+b=0$, 得到感知機模型 f(x)=sign(ω⋅x+b)$f(x)=sign(\omega \cdot x+b)$，其中ω⋅x+b>0$\omega \cdot x+b>0$為正類，ω⋅x+b<0$\omega \cdot x+b<0$為負類。SVM和感知機最大的差別就是SVM尋找的間隔最大的超平面，所謂間隔，可以理解為例項點到超平面最小的距離，所以SVM找的是把資料正確分隔的”最開”的超平面。

間隔
函式間隔：對於給定的訓練資料集T和超平面(

ω,b$\omega ,b$)， 定義超平面關於樣本點(xi,yi$x_i,y_i$)的函式間隔為 γ̂ i=yi(ω⋅xi+b)${\hat{\gamma }}_i=y_i(\omega \cdot x_i+b)$
幾何間隔：對於給定的訓練資料集T和超平面(ω,b$\omega ,b$)， 定義超平面關於樣本點(xi,yi$x_i,y_i$)的幾何間隔為 γi=1||ω||yi(ω⋅xi+b)=γ̂ i||ω||${\gamma }_i=\frac{1}{||\omega ||}{y}_i(\omega \cdot x_i+b)=\frac{{\hat{\gamma }}_i}{||\omega ||}$

所以我們可以建立模型：

輸入: T={(x1,y1),(x2,y2),⋯,(xi,yi)}$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_i,y_i)\}$
輸出: 分離超平面：ω⋅x+b=0$\omega \cdot x+b=0$ 決策函式：

f(x)=sign(ω⋅x+b)$f(x)=sign(\omega \cdot x+b)$

策略：
接下來的問題就是找到間隔最大的超平面，記超平面關於例項點的的幾何間隔【1||ω||yi(ω⋅xi+b)≥γi$\frac{1}{||\omega ||}{y}_i(\omega \cdot x_i+b)\ge {\gamma }_i$ 】, 定義超平面關於所有例項點的幾何間隔為【γ=maxγi$\gamma =max{\gamma }_i$】, 則問題就可以寫成【 maxω,bγ$ma{x}_{\omega ,b}\gamma$ ，s.t.yi(ω⋅xi+b)≥γi$s.t.y_i(\omega \cdot x_i+b)\ge {\gamma }_i$ 】
有幾何間隔和函式間隔的關係，問題可以改寫為【maxγ̂ ||ω||$max\frac{\hat{\gamma }}{||\omega ||}$】【