1、SVM演算法特徵

（1）訓練好的模型的演算法複雜度是由支援向量的個數決定的，而不是由資料的維度決定。所以，SVM不太容易產生overfitting。

（2）SVM訓練出來的模型完全依賴於支援向量（Support Vectors），即使訓練集裡面所有非支援向量的點都被去除，重複訓練過程，結果仍然會得到完全一樣的模型。

（3）一個SVM如果訓練得出的支援向量個數比較小，SVM訓練出的模型比較容易被泛化。

2、線性不可分情況（linearly inseparable case）

（1）資料集在空間中對應的向量不可能被一個超平面分開。

（2）兩個解決的步驟：

利用一個非線性的對映把原資料集中的向量點轉化到一個更高維的空間中

在這個更高維的空間中找到一個線性的超平面來根據線性可分的情況處理。

（3）簡單舉例

在一維空間中，有兩類點分佈在一條直線上，如下圖，沒有辦法找到一條直線將其實現分類。

建立一個對映 f(x)=x^2,由原先一維空間轉換到二維空間上的曲線上，這是很容易找到一條直線（超平面）將兩類示例分開。

（4）非線性對映將低維空間轉換到高維空間的視覺化演示：http://www.youtobe.com/watch?v=3liCbRZPrZA

3、如何利用非線性對映把原始資料轉化到高維空間中？

（1）簡單舉例

3維輸入向量：，轉化到6維空間Z中去：

此時，新的決策超平面為：，這個超平面是線性的，其中W和Z是向量。

解出W和b之後，並且帶入回原方程：

（2）關鍵問題：

如何選擇合理的非線性的轉化把資料傳到高維空間中？

如何解決內積時演算法複雜度非常高的問題？即：使用核方法（kernel trick）

4、核方法（kernel trick）

（1）目的（動機）

線上性SVM中轉化為最優化的問題時，求解的公式計算都是以內積（dot product）的形式出現的，

其中，是把訓練集中的向量點轉化到高維的非線性對映函式，因為內積的演算法複雜度非常大，所以我們利用

核函式來取代計算非線性對映的內積。

（2）定義

以下核函式和非線性對映函式的內積等同：

（3）常用的核函式（kernel function）

h度多項式核函式

高斯徑向基核函式（Gaussian radial basis function kernal）:

S型核函式（Signmoid function kernel）:

核函式的使用：根據先驗經驗，如影象分類通常使用高斯徑向基核函式（RBF），文字通常不使用RBF；

嘗試不同的kernel，根據結果準確度而定。

（4）核函式舉例：

假設定義兩個向量，；

定義方程：

核函式：

假設；

則；

其內積為：

利用核函式計算：

所以，對於同樣的結果，用kernel方法計算容易的很多。

5、SVM擴充套件可解決多個類別的分類問題

上面討論的只是二分類的問題，現實生活中大多數解決的不僅是二分類問題，而是多分類的問題，如何解決多類問題，

對於每個類，有一個當前類和其他類的二分器（one-vs-rest），假設目前有10類，可以設定10個分類器，第1個分類器只關心

是否為第一類和剩下類（第一個分類器區分第1類和第2至第10類，第1類為一類剩下的第2至第10類為另一類），同理，

第2個分類器只關心是否為第2類以及剩下的第1類和第3至第10類，依此類推，每一個分類器中區分當前類其餘剩下的類。

最後再根據多數投票的原則或距離遠近等其他方向實現最終分類。總結：多分類的問題可以轉化成多個二分類問題進行處理。