SVM支援向量機系列理論(七) 線性支援向量機與L2正則化 Platt模型
阿新 • • 發佈:2018-11-26
7.1 軟間隔SVM等價於最小化L2正則的合頁損失
上一篇 說到, 表示偏離邊界的度量,若樣本點 滿足約束時,則 , 當不滿足約束時, ,表示偏離margin的度量。
則把上面的合起來:
那麼優化目標函式可以寫為:
其中,我們把式子中的
稱為hinge合頁損失函式。
我們可以看到 L2 正則化的合頁損失函式可以等價於軟間隔SVM。
但是,軟間隔SVM的優勢在於:
- 是一個二次規劃問題(QP),可以利用核技巧
- max(0,1-z)不是可微的,難以解決,無法用梯度下降。
7.2 軟間隔SVM與L2正則的0-1損失
軟間隔允許某些樣本不滿足約束
,而且我們希望在最大化間隔時,不滿足約束的樣本儘可能少。
那麼優化目標函式可以寫為:
C 為無窮大時,迫使所有樣本滿足約束,C為有限值時,允許一些樣本不滿足約束。
其中, 是0-1損失函式,代表當不滿足約束時,記為 1. 但是,0-1損失函式是非凸非連續函式,數學性質不好,通常使用凸函式且是0-1損失函式的上界來代替損失函式:
- hinge合頁損失函式:
- 指數算損失:
- 對率損失:
7.3 軟間隔SVM和L2正則的損失函式的對應關係
使用
- 最大間隔對應L2正則化項
- 一個大的C對應一個小的
- 軟間隔對應特殊的損失
那麼,軟間隔SVM可以視為一個加L2正則化的模型。
7.4 邏輯迴歸模型和線性支援向量機的關係
針對(2),如果將0-1損失函式 替換成對數損失函式 (也就是極大似然函式),那麼就幾乎得到了邏輯迴歸模型(周志華《機器學習》P57)。
實際上,支援向量機和邏輯迴歸的優化目標相近,效能也相當。
邏輯迴歸的優勢:
- 有自然的概率意義,在給出預測標記的同時給出概率。
- 能應用於多分類任務。
SVM的優勢:
- 支援向量機的解只依賴於支援向量,邏輯迴歸的解依賴於更多的訓練樣本,預測開銷比較大。
7.5 Platt模型:SVM的概率模型
- run SVM on D .得到