07 SVM - 軟間隔模型

七、SVM的軟間隔模型演算法

輸入線性可分的m個樣本資料{(x1,y1),(x2,y2),...,(xm,ym)}，其中x為n維的特徵向量，y為二元輸出，取值為+1或者-1；SVM模型輸出為引數w、b以及分類決策函式。

1、選擇一個懲罰係數C>0，構造約束優化問題；

2、使用SMO演算法求出上式優化中對應的最優解β*；

3、找出所有的支援向量集合S; 其實每一個支援向量對應的b都是相等的，所以無需考慮所有的支援向量先求和再平均，求一個即可。

4、更新引數w、b的值；

5、構建最終的分類器

八、SVM的軟間隔模型總結

1、可以解決線性資料中攜帶異常點的分類模型構建的問題；
2、通過引入懲罰項係數(鬆弛因子)，可以增加模型的泛化能力，即__魯棒性__ (使模型不會去迎合異常值)；
3、如果給定的懲罰項係數越小，表示在模型構建的時候，就允許存在越多的分類錯誤的樣本， 也就表示此時模型的準確率會比較低；如果懲罰項係數越大，表示在模型構建的時候，就越不允許存在分類錯誤的樣本，也就表示此時模型的準確率會比較高。