1. 程式人生 > >線性規劃——對偶問題的推導

線性規劃——對偶問題的推導

原問題

(1) min x    c

T x s . t .    A
x = b x 0
\min_x \;c^Tx\\s.t. \;Ax=b\\x\geq 0 \tag{1}

對偶問題

(2) max y    b T y s . t .    A T y + s = c s 0 \max_y\;b^Ty\\s.t.\;A^Ty+s=c\\s\geq 0\tag{2}
A R m × n , x R n , s R n , y R m A \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m}


推導

引入拉格朗日函式: L ( x , λ , μ ) = c T x + λ T ( A x b ) μ T x L(x,\lambda,\mu) = c^Tx+\lambda^T(Ax-b)-\mu^T x 要求 μ > 0 \mu >0 λ \lambda 隨意。容易驗證: sup λ , μ L ( x , λ , μ ) = c T x \sup_{\lambda,\mu} L(x,\lambda,\mu) = c^Tx 因而原問題就等價於: (P) inf x D sup λ , μ L ( x , λ , μ ) , \inf_{x\in D}\sup_{\lambda,\mu} L(x,\lambda,\mu), \tag{P} 其中可行域 D = { x A x = b , x 0 } D=\{x| Ax=b, x \geq 0\} 。下面我們構造對偶問題:
(D) sup λ , μ inf x L ( x , λ , μ ) . \sup_{\lambda,\mu}\inf_{x} L(x,\lambda,\mu). \tag{D}
先對 x 取下界:
inf x L ( x , λ , μ ) = λ T b + inf x ( c + A T λ μ ) T x = { λ T b ,          c + A T λ μ = 0 ,                o t h e r w i s e \inf_{x} L(x,\lambda,\mu) \\= -\lambda^Tb + \inf_x{(c+A^T\lambda -\mu)^Tx} \\=\left\{ \begin{array}{lr} -\lambda^Tb, \;\;\;\;c+A^T\lambda -\mu=0& \\ -\infty, \;\;\;\;\;\;\;otherwise& \end{array} \right.
顯而易見,對偶問題 (D) 值有當 c + A T λ μ = 0 c+A^T\lambda -\mu=0 時才有意義。所以對偶問題寫成: max λ    b T λ s . t .    A T λ μ + c = 0 μ 0 \max_\lambda\;-b^T\lambda\\s.t.\; A^T\lambda-\mu+c=0\\\mu\geq 0 y = λ , s = μ y = -\lambda, s=\mu 即變成問題 (2)。