拉格朗日對偶

對偶是最優化方法裏的一種方法，它將一個最優化問題轉換成另外一個問題，二者是等價的。拉格朗日對偶是其中的典型例子。對於如下帶等式約束和不等式約束的優化問題：

與拉格朗日乘數法類似，構造廣義拉格朗日函數：

必須滿足 的約束。

原問題為：

即先固定住x，調整拉格朗日乘子變量，讓函數L取極大值；然後控制變量x，讓目標函數取極小值。原問題與我們要優化的原始問題是等價的。

對偶問題為：

和原問題相反，這裏是先控制變量x，讓函數L取極小值；然後控制拉格朗日乘子變量，讓函數取極大值。

一般情況下，原問題的最優解大於等於對偶問題的最優解，這稱為弱對偶。在某些情況下，原問題的最優解和對偶問題的最優解相等，這稱為強對偶。

強對偶成立的一種條件是Slater條件：一個凸優化問題如果存在一個候選x使得所有不等式約束都是嚴格滿足的，即對於所有的i都有gi (x)<0，不等式不取等號，則強對偶成立，原問題與對偶問題等價。註意，Slater條件是強對偶成立的充分條件而非必要條件。

拉格朗日對偶在機器學習中的典型應用是支持向量機。

拉格朗日對偶