支援向量、支援平面。

要求d的極大值（即兩個分離平面之間的距離最大），d最大則對應w極小，但是w的正規化計算時帶有根號，不方便，於是轉為求w的平方極小。此時，轉換為凸優化問題。

所以上述是一個凸優化問題，接下來應用拉格朗日乘子法（嚴格來說，叫KKT條件法）。

上面的問題為什麼可以轉化為拉格朗日乘子法呢？

相切點的幾何意義：紅線與藍線的梯度在同一直線上。約束函式g，目標函式f。

結合公式發現，最後的解就是要滿足兩個函式的梯度方向相反，在同一條直線上。

嚴格的拉格朗日乘子法要求約束條件為等號，但是本問題中為不等號，所以是KKT條件。

可以理解為KKT條件是拉格朗日乘子法在不等式條件下的一種推廣。

由於是不等式條件，所以目前還不能夠求解，但是可以繼續往前走——嘗試將b和w消掉，得到新的拉格朗日函式。所以變成了求拉格朗日函式的係數問題，稱為原拉格朗日問題的對偶問題。   回顧思路，首先我們把一個求解直觀幾何問題變成了求解一個凸優化問題，凸優化問題通過KKT條件變成拉格朗日問題，把偏導數等於0代進去，變成了一個拉格朗日乘子問題的對偶問題。對偶問題的形式整潔，且後半個公式是一個內積，有助於往非線性條件下推廣的核函式。

------------------------------------下一步繼續觀看ML07C