支援向量機(SVM)回顧與擴充套件
阿新 • • 發佈:2018-11-27
前面的部落格中對SVM進行了細膩的理論推導。這裡,筆者想可以更進一步思考。
重溫hard-margin SVM的推導
在SVM中,樣本標籤是{1,-1},而不是經常接觸的{0,1},這樣設計是為了便於公式的推導。
,其中m是樣本數。
Kernel Trick
將樣本x對映到新的空間
,我們在新的空間裡進行hard margin svm。推導過程不變,只需將圖片裡的x換為
即可。
核函式就是
則
Kernal trick不侷限於SVM
any L2-regularized linear model can be kernelized!!!
並且最優
首先,我們需要回憶一下soft margin SVM
本質上,soft-margin SVM是帶有L2正則化的hinge loss(合頁損失)
通過KKT條件,可知soft-margin svm採用了hinge loss,仍然保持瞭解的稀疏性
SVR
帶有L2正則化的
不敏感損失,同樣解具有稀疏性。
在實際使用中,soft-margin SVM相比hard margin SVM使用的更多。
Kernel Logistic Regression
把
帶入損失函式中,轉為求解
的問題
注意: 不同於SVM, kernel logistic regression的解並不稀疏,因此預測開銷很大
Kernel ridge regression:
把
帶入損失函式中,轉為求解
的問題
同樣是解並不稀疏,預測開銷很大
Support Vector Regression(SVR):
解稀疏