這一章主要介紹SVM和相關向量機。SVM是一個決策機器，不提供後驗概率，而且得到的解是稀疏的，這裡的稀疏指的是，只有部分訓練樣本（支援向量）對模型結果有影響。而RVM是基於貝葉斯方法的，能提供後驗概率的輸出，並且通常能產生比SVM更稀疏的解

1 最大邊緣分類器

1 點到線性決策面的距離推導

如上圖，首先假設y(x)=wTx，分析任意點xn到局側面y(x)=0的距離。

顯然,xn可以分解為

其中，xn⊥是x在決策面上的投影，r是點到決策面的距離。

處理公式則有：

則點到決策面的距離為：

2 基本的SVM

首先考慮二元分類線性模型，y(x)=wTϕ(x)+b。如果線性可分，則y(x0)>0，標籤t0=1，y(x0)<0，則標籤t0=−1。SVM引入邊沿margin的概念，如下圖

根據上面的推導，點xn到決策面的距離為：

則最大化最小邊緣解可以表示為：

考慮到對w和b作縮放，不會影響點xn到決策面的距離，因此我們簡化模型，對於距離決策面最近的點，令

這種情況下，所有的點都會滿足限制：

顯然，現在最大化的公式可以轉化為：

顯然，這是一個有不等約束的優化問題。參考KKT條件，我們可用拉格朗日乘子法求解，構建函式如下：

求導求解後，得到對偶表示，結果如下：