1. 程式人生 > >SVM解釋為什麼可以約束min y(wx+b)=1的問題

SVM解釋為什麼可以約束min y(wx+b)=1的問題

在<計算機技巧>課程中,考慮到w,b同時放大或者縮小對原來的優化問題沒有任何影響,為了化簡這個問題,作者引入min1...nyn(wxn+b)=1,這裡證明在這個約束下問題其實對原始的優化問題沒有影響,即:
這裡寫圖片描述
加上上面約束後沒有影響。
假設wop,bop是原始問題的最優解,那麼轉換的優化問題求出的解一定是wop/A,bop/A這種形式的。
假設兩個點:y1(wx1+b)=2,y2(wx2+b)=3
因此:y1(w2x1+b2)=1,y2(w2x2+b2)=1.5
顯然wop/2,bop/2首先是新問題的最優解,同時也滿足約束條件。
原始問題變成新問題必然嚴格了很多,但是原始問題最優解為2

/||wop||,新問題最優解也為2/||wop||,因此約束的嚴格並沒有帶來優化最值的下降,故而兩種優化問題是等價的。
(優化問題的等價性:優化目標最值沒有變化)