本章講述了SVM，相比於《統計學習方法》，從邏輯迴歸的角度更容易理解了。

從邏輯迴歸來看，看損失值與Z的值的關係：

代入原來的是指，可以化簡公式：

總結來說：如果y=1，我們希望z的值大於等於1，如果y=0，我們希望z的值小於-1，這樣損失函式的值都會為0.

線性可分的決策邊界：

但是這種情況對於異常點是非常敏感的，比如有一個紅點，那麼決策邊界就會發生很大的變化。

此時希望C不要太大，即λ非常大，魯棒性更強。

對於向量空間中的兩個向量，向量的內積等於p*向量U的長度。

這樣θTx就轉換成了對向量θ的投影了

在邏輯迴歸中基於決策邊界進行分類，但是特徵需要手動來創造，很難去造全比較好的特徵

首先假設幾個樣本的參照點，l1,l2,l3，然後計算每個x與這三個點的相似度，這裡是用的高斯混合

這個similarity就是kernel函式。

similarity最大是1，最小是0。當兩個向量一模一樣的時候等於1。

通過選取的點與計算出f值，然後帶入到公式，就能得出決策邊界：

如何選擇l呢，最簡單的就是把所有的樣本點都當做l。然後計算x與所有樣本點的高斯核：

有很多的軟體可以算SVM了，只需要選擇引數C和kernel函式就行了

邏輯迴歸和SVM的區別：

• 1 如果特徵的維度比樣本的維度還高，使用邏輯迴歸或者不帶核函式的SVM。因為沒有那麼多資料來擬合更高階的函式
• 2 如果n很小，m適中，那麼可以使用高斯核的SVM
• 3 如果n很小，m很大，那麼使用邏輯迴歸或者不帶核函式的SVM都可以，不然使用高斯核計算會很慢