SVM算法的另外一種理解
阿新 • • 發佈:2017-05-26
組成 優化 square 隨機梯度 損失函數 -1 entropy 正則化 預測
解決一個機器學習問題的一般套路是先構建一個目標函數,然後解決一個優化問題。目標函數通常由損失函數和正則項組成。常見的損失函數log-loss,square-loss,cross-entropy-loss等,常見的正則化方法有L1正則、L2正則等,常見的優化方法有梯度下降、隨機梯度下降等。SVM也可以按照這種模式來重新定義。
首先,損失函數
\( l(y_i,y_i‘) = max(0,1-y_iy_i‘) \),稱之為hinge-loss. 實際值y的取值為-1和1,容易看出,只要實際值和預測值不同,損失函數就會大於0,當實際值和預測值相同的時候,預測值的絕對值越大越好
然後,構建目標函數
obj(w,b) = \(\sum_{i=1}^{N}max(0,1-y_i(w \dot x_i+b)) + c||w||^2\)
可以證明
上述目標函數和上篇文章中得到的優化目標
\(min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{N}\xi_i\)
s.t \(y_i(w\cdot x_i+b)>=1-\xi_i, i=1,2,...N\)
\(\xi_i>=0,i=1,2,3...N\)
等價
參考:李航《統計學習方法》
SVM算法的另外一種理解