【線性可分問題 之 問題】

先從最簡單的情況說起，說線性可分問題。問題是這樣的，至少可以想象是這樣的：在二維空間中有一些點，分別屬於兩個不同的類別，如何在二維空間中找到這樣一條直線，直線的一邊是某一類別的點，直線的另一邊是另一個類別的點？如果這樣的直線存在多條，如何選擇一條最“好”的直線？

上面描述中，樣本被描述成了二維空間的點；其實也可以是高維空間中的點，而一個向量來表徵。類別，可以簡單地用整數+1和-1表示，不必是向量。

分類器，對於二維空間是一條直線；對於高維空間，就是一個超平面。通常做如下表示：

g(x) = <w * x> + b

x表示樣本點，通常是一個向量；w表示分類超平面的法向量；b表示截距，它和w共同確定了分類超平面，也就組成了分類器本身。分類的過程通過一個符號函式 sgn[ g(x) ] 來判定，即當g(x)>0的時候，判定為正類別；否則為負類別。

通常找到這樣一個超平面不難，難的是超平面有很多，究竟選擇哪一個？

【線性可分問題 之 問題轉化 之 最大幾何間隔】

選擇哪一個，總會有一個“標準”，這個標準就決定了我們的目標函式，這樣尋找最優超平面問題就能夠轉換成為普通的優化問題。

首先做一些鋪墊，定義一個樣本x(i)點到超平面的“間隔”為：

Theta(i) = y(i) ( <w * x(i)> + b )

公式中“(i)"表示的是下標。看起來就是樣本點用超平面計算出來的數值（不是向量）與它已知的分類結果相乘。注意到，這個值Theta(i)永遠是正值，等於 | g( x(i) ) |，豎線表示絕對值。將上面公式進一步對w做歸一化，得到：

Theta(i) = | g( x(i) ) | / || w ||

雙豎線表示w的正規化。上面公式的幾何意義是樣本點x(i)到超平面的幾何間隔。

有了上面的鋪墊，好，我們直接說結論：我們要找的那個超平面是距離兩類樣本點集合的幾何間隔最大的那個超平面。至於，上面只定義了單個樣本到超平面的幾何間隔，那麼點的集合到超平面的幾何間隔，類似的可以定義，這裡就不羅嗦了，總之，我相信，你懂得。

不過，上面結論怎麼來的？我看的資料裡面沒有詳細推導，即便是有詳細推導，我也可能沒有耐心看完。我猜想是按照如下思路來的：首先，根據期望風險和經驗風險以及VC維的關係（參考上一篇博文"svm_基礎理論1"中的公式），將問題轉化成旨在用經驗風險和VC維降低期望風險的”上界“

誤分次數 <= pow ( 2*R / Theta, 2)

是某個比值的平方，而這個比值又和 Theta 有關，而Theta的數值又是樣本點到超頻面的幾何間隔。至此，問題轉化為選取超平面，要求距離樣本點的幾何間隔最大。公式中R是什麼？如果樣本分佈在三維空間中，R就是能夠包含所有樣本的最小球的直徑。顯然，這是和樣本相關的量。這個量，對於基於這些樣本訓練處的所有模型都是相同的。

回顧上面Theta的計算公式，Theta的數值與|| w ||有關，問題又進一步轉化為：如何選擇超平面，使得|| w ||的值最小。

如何求解呢？其實問題還需要進一步變換——看svm的一個突出感覺就是，問題都不好解決，只好轉換成別的問題，而別的問題也不好解決，只好繼續轉換...... 我們下文再說吧。