通過前三章的討論，當我們拿到一給定資料集時第一要務是尋找一條分界線時分界線兩邊的點到線的（幾何）間隔最大，達到這一要求即認為這是個好的分類器。這樣的分類器會在正負樣本間畫出一個斷層（幾何間隔）。

現在我們又一個線性可分的訓練集（即存在一超平面將正負樣本分開），如何找到有最大幾何間隔的分類器呢？用數學語言描述該問題：

我們要最大化資料集的最小几何間隔γ，該間隔小於等於資料集中所有點幾何間隔。解決這個問題就是確定一組(w,b)使得幾何間隔最大。需要注意∥w∥=1是一個非凸約束，標準的最優化方法難以解決，我們需要轉換成更易求解的形式：

現在我們要優化這個引數γ^/∥w∥，且保證所有樣本函式間隔都小於γ^。通過公式轉化我們擺脫了∥w∥=1的條件要求，但是γ^/∥w∥依然是一個非凸目標函式還需繼續轉換。之前我們提到通過縮放(w,b)可以改變γ^的值，我們現在令γ^=1，那麼γ^/∥w∥=1/∥w∥，又1/∥w∥的最大值就是∥w∥2的最小值，公式改寫為：

至此問題轉化為一個凸二次目標函式線上性約束下的求解問題。求解的結果就是最優間隔分類器。最優分類器的第一部分即到此為止，接下來我們會討論拉格朗日對偶性，這可以幫助推導問題的對偶形式，轉化為對偶形式後就可使用核方法將樣本對映到高維空間，大大提高模型的可用性。