(3).支援向量機SVM——軟間隔最大化公式手寫詳細推導
阿新 • • 發佈:2018-12-19
線性可分問題的支援向量機學習方法,對線性不可分訓練資料是不適應的,因為這時上一節中不等式約束不能成立,如何擴充套件到線性不可分問題呢?這就需要修改硬間隔最大化,使其成為軟間隔最大化。
通常情況下訓練資料中有一些特異的點,將這些特異的點去處後,剩下的樣本組成的集合是線性可分的。線性不可分的意思就是某些樣本點不能滿足函式間隔大於等於1的約束條件。為了解決這個問題,可以對每個樣本點引入一個鬆弛變數 ,使函式間隔加上加上鬆弛變數大於等於1,這樣約束條件變為:
同時,對每個鬆弛變數 ,支付一個代價 ,目標函式由原來的變為:
這裡的C>0稱為懲罰引數(權重),一般由應用問題決定,C值大時對誤分類的懲罰增大,C值小時對誤分類的懲罰減小。
我們要求的目標函式的最小值,在引進鬆弛變數和懲罰引數有兩個含義
②同時使得鬆弛變數 儘量小,也就是誤分類的點個數儘量小。
下面手推導具體的過程:
如若有不對的地方還望指正。