本課首先提出了原始的優化問題：最優間隔分類器問題，之後介紹了對偶問題的概念和KKT條件，之後基於原始優化問題的對偶問題的分析，介紹了SVM演算法。課程的最後對SVM算 法進行了評價，以引出下節課對核方法的介紹。

回顧：

對於幾何間隔來說，以相同的比例縮放w,b，不會對幾何間隔造成影響。
對最大間隔分類器的另一種表述：

優化目標：

約束條件：
下面對這個優化問題進行等效分析： ，又因為 ，所以優化目標就變成了 ，約束條件為 。

下面要用到的知識為拉格朗日數乘法，具體定義可以百度。這裡提出幾個重要概念，約束條件，拉格朗日運算元，拉格朗日乘數。

原始優化

假設我們為解決一個問題而定下的優化目標為 ，而它的約束條件為:

所以針對這個問題的拉格朗日運算元為：

定義

下面讓我們來考慮一種情況，即約束條件被違背時會發生什麼。

如果 ，這是因為 可以取任意大的正數；如果 。所以在滿足所有約束條件的情況下：

所以 即為原始問題。

對偶優化

上面原始問題的對偶優化問題如下所示:


在一定條件下，原始優化和對偶優化會取相同的值。即 。我們通常會通過求解一個問題的對偶問題來解決原始問題。這是因為對偶問題往往更加簡單並且有很多很有用的性質。

原始問題與對偶問題等價的條件

令f(w)為凸函式，假設 ，然後 是原始問題的解； 是拉格朗日乘數，是對偶問題的解，並且 。

則等價條件是：

以上條件統稱為KKT互補條件。


根據KKT互補條件和實際情況，我們不妨做出如下推論：

下面介紹SVM中所用的拉格朗日數乘法：

在SVM中，只需要一組拉格朗日乘數 ，有兩組引數w,b。

拉格朗日運算元為：

圖形示意如下，只有函式間隔為1且 不等於0的資料點才能稱作支援向量。

對偶問題

將倒數第二個式子代入原始問題的拉格朗日運算元中可得：

在對偶問題中我們的目標是最大化 ，同時滿足以下約束條件：

當我們解出 後可以根據下面的式子解出其他引數：

另外可根據下式判斷出新輸入的資料點的類別: