SVM和logistic regression的一些對比
一、SVM的常用目標函式形式
soft margin svm可表示為：
其中，C表示懲罰係數；C越大，表示對margin越嚴格，即對不滿足約束的樣本數要更少；
反之，C越小，表示對margin越寬鬆，即可接受不滿足約束的樣本數越多。
例如下圖所示：
二、SVM和logistic regression的對比
1、對於SVM目標函式的解讀
SVM的目標函式與帶了L2正則的Model的目標函式很相似，並且具有相同的一些性質。
2、三種常用替代損失函式對比
因此，SVM目標函式中的max(1-ys,0)函式與Logistic regression的目標函式很像；如果給LR加入L2正則化，那麼有：
三、Probabilistic SVM的實現思路
1、鑑於SVM和加L2正則的LR model很相似出發：
（1）idea1
將soft margin的SVM進行求解，將得到的w,b引數當作LR model的w',b'的近似解，然後使用sigmoid函式進行概率求解。
優點：直接使用了svm和LR的相似性，實際使用上，較為簡單，通常表現還不錯。
缺點：實際上幾乎喪失了LR model推導中的maximum likelyhood等性質。
（2）idea2
將soft margin的SVM進行求解，將得到的w,b引數當作LR model解的起始點，再進行LR模型的求解。
缺點：效果和單獨使用LR model求解差不多，並且對於kernel svm，則無法使用LR model進行近似。
2、採用融合SVM和LR各自優勢的思路
（1） 做法
將SVM求解出來的結果（即求解出w和b）後計算(wx+b)的值value，然後在value上加上兩個自由度的操作，即放縮操作A，平移操作B；在A和B兩個引數上使用logistic regression進行訓練（實際上是把A和B分別當作LR model裡的w和b引數來求解），這樣可以比較吻合在logistic regression中的maximum likelyhood的需求。
優點：保留了svm原有的性質，包括kernel svm的性質；可以使用LR model獲得概率值表示。
幾何解釋：用SVM 找出分類超平面的法向量，然後不改變法向量，但是在法向量之上再加上一些放縮和平移操作，使其更吻合在logistic regression中的maximum likelyhood的需求。
（2） Probabilistic SVM的目標函式：
（3）Probabilistic SVM一般化的求解步驟
