統計學習方法由三要素構成：模型，策略和演算法。

支援向量機的三要素：

模型：分離超平面 w*x+b=0 和決策函式 f(x)=sign(w*x+b)

策略：結構風險最小化，具體對於SVM是間隔最大化

演算法：凸二次規劃

對於支援向量機的模型和演算法，都比較好理解，那它的策略間隔最大化，為什麼是結構風險最小化呢

對於SVM原始的約束最優化問題：

w^2就是引數向量的L2範數，也就是正則化項，但還不是結構風險，因為其沒有經驗風險這一項

對於SVM的約束對偶最優化問題：

從該式就可以看出，右式第一項是正則化項，第二項是經驗風險。因此SVM的策略就是結構風險最小化，其自帶正則項。

SVM的過擬合問題

在完全線性可分的資料集下，支援向量機沒有過擬合問題，因為它的解是唯一的。而在非線性不可分的情況下，雖然SVM的目標函式採用結構風險最小化策略，但是由於允許誤分類的存在核引入了核函式，SVM仍會有過擬合的問題：

實際中應用的SVM模型都是核函式+軟間隔的支援向量機，那麼，有以下原因導致SVM過擬合：

1）選擇的核函式過於powerful

2）要求的間隔過大，即在軟間隔支援向量機中C的引數過大時，表示比較重視間隔，堅持要資料完全分離，當C趨於無窮大時，相當於硬間隔SVM