SVM與邏輯迴歸的區別
阿新 • • 發佈：2019-02-04
邏輯迴歸和支援向量機之間的區別也是面試經常會問的一道題，特地找了一些相關資料看了下。
損失函式
不好意思啊，我不太懂你說的log loss是log likelihood嗎。我記得課上說logistic regression是用Maximum log Likelihood 來的.。
實質上，在這個問題裡面，對數損失和極大似然估計是等價的。
- 我們知道損失函式是用來衡量預測的錯誤程度，機器學習的基本策略就是使得經驗風險最小化，也就是模型在訓練上的損失最小，這是一種普適的思路。
- 而對於涉及到概率的問題，極大似然估計也是使得估計錯誤最小的一種思路，從數學推導上來看，LR的經驗風險就是極大似然估計取個對數加個負號而已。
這是兩種思維方式，但本質上是一樣的，損失函式這一套邏輯是機器學習的普適邏輯，而極大似然估計這套思想是來解決概率相關問題，如果對於迴歸問題，還怎麼用極大似然估計？(MSE,MAE)
1，優化目標不同。LR的目標函式是logloss，SVM是最大化分類面間距。2，對非線性問題的處理方式不同。LR主要靠特徵構造，必須組合交叉特徵，特徵離散化。SVM也可以這樣，還可以通過kernel。3，處理的資料規模不同。LR一般用來處理大規模的學習問題。如十億級別的樣本，億級別的特徵。
合頁損失函式：《統計學習方法》
