雙正則化引數的L2-SVM
阿新 • • 發佈:2018-12-06
一、前言
- 在單正則化SVM的基礎上,提出雙正則化引數的L2-SVM,獲得它的對偶形式,從而確定最優化的目標函式,結合梯度下降形成:Doupenalty gradient(一種新的SVM引數選擇方法)
- Doupenalty-Gradient方法在同時尋找 C+和C−C+和C− 以及核引數這三個引數的最優值時,SVM的效能得到了極大的改善。
二、SVM演算法
2.1 SVM 原型演算法
- ( 其中 )
- 用來調節錯分樣本的錯誤比重
- 為鬆弛因子,代表錯分樣本的錯誤程度
- 表示為樣本的類別標籤
- 最優超平面法向量
- 最有超平面的閾值
用對偶理論求解最優化,並引入核函式,求出式(1)的對偶形式:
判別函式:
為Lagrange乘子, 是核函式。式(3)的判別函式為 (4)
2.2 SVM 改進演算法 L2—SVM
我們把式子 (1) 稱為,它的改進演算法:二範數軟間隔SVM 稱為 。詳情如下 :
上式的對偶為:
式中
約束條件式 (8) 中去掉了上界 這就是 的重要特性。
它可以將軟間隔轉換成硬間隔,即將線性不可分轉換成線性可分,而目標函式中僅僅是在核函式的對角線上加上一個常數因子1/C,可以當作是核函式的一個微小改動,即:
參考作者:https://blog.csdn.net/wsp_1138886114/article/details/82459928