原問題

s . t .                    A x = b x ≥ 0 \min_x \;c^Tx\\s.t. \;\;\;\;\;\;\;\;\;\\Ax=b\\x\geq 0

對偶問題

$\max_y\;b^Ty\\s.t.\;\;\;\;\;\;\;\;\;\\ A^Ty+s=c\\s\geq 0$
$A \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m}$

---

對偶間隙

$0 \leq x^Ts\\=x^T(c-A^Ty)\\=x^Tc-(Ax)^Ty\\=c^Tx-b^Ty$意味著原問題的最優值 $\geq$ 對偶問題的最優值，這就是弱對偶定理。

---

強對偶

強對偶意味著對偶間隙等於0，即 $s^Tz=0$，又因為 $s > 0, x>0$，所以 $x_is_i=0, \;\;\;\;\;i=1,2,...,n$這說明若 $x_i >0 \Rightarrow s_i =0 \;\;\;且\;\;\; x_i >0 \Rightarrow s_i =0$，因而稱之為 互補性鬆弛。

---

KKT條件

$Ax=b \tag{1}$ $A^Ty+s=c\tag{2}$ $x_is_i=0 \;(i=1,2,...,n)\tag{3}$
(1)(2)分別是原問題和對偶問題的可行性條件，(3)即互補鬆弛條件。上面一共 2n+m 個方程，正好對應 x,y,s 這 2n+m 個變數。

---

對偶問題的推導

參見博文《線性規劃——對偶問題的推導
》