iαjyiyjK(xi⋅xj)−∑i=1Nαi" role="presentation" style="position: relative;"> minα    12∑Nj=1αiαjyiyjK(xi⋅xj)−∑Ni=1αi $mi{n}_{\alpha }$

        1 2 ∑ j = 1 N α i α j y i y j K ( x i ⋅ x j ) − ∑ i = 1 N α i $min_\alpha \ \ \ \ \frac{1}{2}\sum^{N}_{j=1} \alpha_i\alpha_jy_iy_jK(x_i \cdot x_j) - \sum^{N}_{i=1}\alpha_i$

$s.t. \ \ \ \ \sum^{N}_{i=1} \alpha_iy_i =0$

$\ \ \ \ \ \ \ \ \ \ \ \ 0 \leq\alpha_{i}^{} \leq C, i = 1,2,..., N\ \ \ \ \ \ \ \ \ (1)$

---

對應的KKT條件為：

$\alpha_{i}^{} = 0 \Rightarrow y_ig(x_i) \geq 1\ \ \ \ \ \ \ \ \ $

$0 <\alpha_{i}^{} < C \Rightarrow y_ig(x_i) = 1\ \ \ \ \ \ \ \ \ $

$\alpha_{i}^{}= C \Rightarrow y_ig(x_i) \leq 1\ \ \ \ \ \ \ \ \ $

---

SMO演算法是一種快速學習的演算法，其思想是：

不斷地選擇兩個兩個變數$\alpha_1, \alpha_2$，將上面（1）這個二次規劃問題分解成一個只有兩個變數的二次規劃子問題，然後對二變數子問題進行解析求解，直到所有變數都滿足KKT條件為止。由於每個子問題都有解析解，計算很快，所以很高效。

重要定理：KKT條件是最優化問題的充分必要條件。

---

2. 選擇兩個變數的方法

上面說到SMO演算法的思想，那麼第一步應該明確怎麼選擇兩個變數$\alpha_1, \alpha_2$。

2.1 第一個變數的選擇

選擇第一個變數需要選擇在訓練集中違反KKT條件最嚴重的樣本點。 這很容易理解，因為我們最終的目標是讓所有的變數$\alpha$滿足KKT條件，選擇違反KKT最大的作為優化物件。

• 一般來說，我們首先選擇違反 $0 <\alpha_{i}^{} < C \Rightarrow y_ig(x_i) = 1$這個條件的$\alpha$。

• 如果這些支援向量都滿足KKT條件，再選擇違反$\alpha_{i}^{}= C \Rightarrow y_ig(x_i) \leq 1$ 和 $\alpha_{i}^{} = 0 \Rightarrow y_ig(x_i) \geq 1$的點。

2.2 第二個變數的選擇

為了選擇第二個變數，首先定義函式$g(x_i) =\sum_{j=1}^{N}\alpha_jy_jK(x_j,x_i)+b$

並把預測值 g(xi)