簡單總結一下自己對SVM的認識：有一條帶區域，固定差距為1，希望最大化間隔 1||w|| $\frac{1}{||w|}$

| $\frac{1}{||w||}$。SVM的特點就是這條帶的引入。

SVR同樣有這樣的一條帶，迴歸的時候，落入帶內的點，損失為0，只記錄落入帶外的點的損失值。

SVR形式化表示：
min1/2||w||2+C∑l(f(xi)−yi) $$

min 1 / 2 | | w | | 2 + C ∑ l ( f ( x i ) − y i ) $\min 1/2 ||w||^2 + C \sum l(f(x_i) - y_i)$
其中第一項是正則化項，後面的損失函式是$\epsilon$-不敏感損失：
$if |z| < \epsilon$，l = 0
$otherwise$, l = $|z|-\epsilon$

引入鬆弛變數，可以重寫為：
$\min 1/2 ||w||^2 + C \sum (\xi_i + \hat \xi_i)$
$s.t. f(x_i)-y_i \leq \epsilon + \xi_i$
$y_i - f(x_i) \leq \epsilon + \hat \xi_i$
$\xi_i \geq 0, i =0,...,n$
$\hat \xi_i \geq 0, i=0,...,n$

引入拉格朗日乘子，得到原問題的對偶問題：

滿足的KKT條件：

其中，$\hat \alpha_i - \alpha_i \neq 0$的樣本為支援向量，它們必然落在間隔帶之外， 落在間隔帶內的樣本$\hat \alpha_i =0 , \alpha_i = 0$。SVR的支援向量僅是訓練樣本的一部分，即其解仍具有稀疏性。