給出數學推導，每個向量的意義不再贅述

轉換原問題

確定每個支援向量下的超平面:min y(w^T+b)/||w||
間隔最大的為所求最優的超平面 max min y(w^T+b)/||w|| ，
即求：
$arg \space \underset{w^T,b} {max} \{ \underset{x}{min} \space y_i \times (w^T x_i+b) \frac{1}{||w||} \},y_i 即 label_i$

​},yi​即labeli​
$y_i$=+1或-1，不影響結果。
為了便於計算，我們可以認為在支援向量上的這一部分為 1，支援向量上的點也為所有點裡的最近的點
$y_i \times (w^T x_i+b)$
那麼其他點滿足不等式：
$y_i(w^T+b) \geq 1$
這個式子轉換為：
$\underset{x}{min} \space y_i \times (w^T x_i+b) \frac{1}{||w||} => \frac {1}{||w||} \\$

即
$\begin{cases} \underset{w^T,x}{max} \frac {1}{||w||} \\ s.t. \space y_i(w^T+b) \geq 1 \end{cases}$
對於$max\frac {1}{||w||}$，它取得 max 和 $\frac 1 2 {||w||}^2$ 取得 min 的情形是一致的（1/2和平方便於後續計算）
問題轉換為
$\{$

maxx12∣∣w∣∣2s.t.yi(wT+b)≥1 \begin{cases} \underset{x}{max} \space \frac 1 2{||w||}^2 \\ s.t. \space y_i(w^T+b) \geq 1 \end{cases}

拉格朗日乘子法

關於拉格朗日乘子法的原理和證明：
深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT條件
其中嚴謹的拉格朗日對偶的證明沒有明白，但是直觀上是能理解的。
強對偶和KKT條件也非常嚴格，這裡沒有寫出來。

有不等式約束的優化問題，可以寫為：
min f(x), 
	s.t. g_i(x) <= 0; i =1, ..., n
	h_j(x) = 0; j =1, ..., m

對於含有不等式約束的優化問題，如何求取最優值呢？常用的方法是KKT條件.
同樣地，把所有的不等式約束、等式約束和目標函式全部寫為一個式子L(a, b, x)= f(x) + a*g(x)+b*h(x)，
KKT條件是說最優值必須滿足以下條件：

1. L(a, b, x)對x求導為零；
2. h(x) =0;
3. a*g(x) = 0;

求取這三個等式之後就能得到候選最優值。其中第三個式子非常有趣，因為g(x)<=0，
如果要滿足這個等式，必須a=0或者g(x)=0. 這是SVM的很多重要性質的來源，如支援向量的概念。

我們按照拉格朗日乘子法：
構造
$L(w^T,x,b)=\frac 1 2{||w||}^2+\sum_i^{m}\alpha_i[1-y_i(w^Tx_i+b)]$
令其對各分量求偏導等於0，即分別對 $w^T$,$b$求導
$||w||^2即 w^T*w$
可以得到
① $w^T -\sum_i^m\alpha_iy_ix_i=0$
② $\sum_i^m\alpha_iy_i=0$

把上述結論代入 L，
即
$\begin{aligned} L(\omega,b,\alpha)&=\frac{1}{2}\|\omega\|^2 + \sum_{i=1}^m\alpha_i\Big[1-y_i(\omega^Tx_i+b)\Big] \\ &= \frac{1}{2}\left\| \sum_{i=1}^{m}\alpha_iy_ix_i \right\|^2 + \sum_{i=1}^{m}\alpha_i - \omega^T\sum_{i=1}^{m}\alpha_iy_ix_i \\ &=\frac{1}{2}\omega^T\sum_{i=1}^{m}\alpha_iy_ix_i+\sum_{i=1}^{m}\alpha_i - \omega^T\sum_{i=1}^{m}\alpha_iy_ix_i \\ &=\sum_{i=1}^{m}\alpha_i - \frac 1 2 \left(\sum_{i=1}^{m}\alpha_iy_ix_i^T\right)\left(\sum_{i=1}^{m}\alpha_iy_ix_i\right) \\ &=\sum_{i=1}^{m}\alpha_i - \frac 12\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j \end{aligned}$

相關推薦