回憶SVM硬間隔最大化所對應的優化問題

minw,b12∥w∥2s.t.y(i)(wTx(i)+b)⩾1i=1,⋯,m$\begin{array}{r}\underset{w,b}{min}\frac{1}{2}{\Vert w\Vert }^2\text{s.t.}{y}^{(i)}\left(w^T{x}^{(i)}+b\right)⩾1i=1,\cdots ,m\end{array}$

對於約束條件，並不是所有樣本都能滿足，換句話說，可能存在某個樣本，其函式間隔無法做到大於等於1$1$，因此為每一個樣本(x(i),y(i))$(x^{(i)},y^{(i)})$引入一個鬆弛變數ξi${\xi }_i$，於是約束條件變為y(i)(wTx(i)+b)⩾1−ξi$y^{(i)}\left(w^T{x}^{(i)}+b\right)⩾1-{\xi }_i$，稱為軟間隔

規定鬆弛變數的取值為非負數，ξi⩾0${\xi }_i⩾0$，對於能夠滿足約束條件的樣本ξi=0${\xi }_i=0$，對於不能夠滿足約束條件的樣本

ξi>0${\xi }_i>0$

對於每一個鬆弛變數ξi${\xi }_i$，需要付出的代價為ξi${\xi }_i$，因此代價函式變為12∥w∥2+C∑i=1mξi$\begin{array}{r}\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^m{\xi }_i\end{array}$，超引數C$C$控制鬆弛變數代價的權重

總結一下，SVM軟間隔最大化所對應的優化問題為

minw,b,ξ12∥w∥2+C∑i=1mξi$\begin{array}{r}\underset{w,b,\xi }{min}\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^m{\xi }_i\end{array}$
s.t.y(i)(wTx(i)+b)⩾1−ξii=1,⋯,m$\text{s.t.}{y}^{(i)}\left(w^T{x}^{(i)}+b\right)⩾1-{\xi }_{i}i=1,\cdots ,m$
ξi⩾0i=1,⋯,m${\xi }_i⩾0i=1,\cdots ,m$

其中，約束條件的標準形式為

s.t.1−ξi−y(i)(wTx(i)+b)⩽0i=1,⋯,

m$\text{s.t.}1-{\xi }_i-y^{(i)}\left(w^T{x}^{(i)}+b\right)⩽0i=1,\cdots ,m$
−ξi⩽0i=1,⋯,m$-{\xi }_i⩽0i=1,\cdots ,m$

拉格朗日函式

為約束