凸優化學習筆記(3)——優化問題

筆記是根據《Convex Optimization》寫的，序號對應章。

4 凸優化問題

4.1 優化問題的基本形式

minimizef0(x)subjecttofi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p
　　需要注意的是除了顯式的約束外，每個函式還有隱式的定義域約束。整個問題的定義域是所有函式的定義域的交集。對於每個這樣的問題，其最優解定義為：
p∗=inf{f0(x)|fi(x)≤0,i=1,…,m,hi(x)=0,i=1,…,p}
區域性最優解定義為在半徑為R的定義域範圍內的最小值。如果這是個最小問題，則f0(x)稱為損失函式，如果是最大問題，則稱為效用函式。
4.2 凸優化

　　凸優化問題定義為如下形式：
minimizef0(x)subjecttofi(x)≤0,i=1,…,maTx=0,i=1,…,p
其中，f0,…,fm都是凸函式。非正式地來說，對於一個一般的優化問題，1)目標函式是凸函式;2)不等式約束是凸函式;3)等式約束是仿射函式，則這個問題是凸優化問題。同時，從以上的定義可以注意到，凸優化問題的可行域一定是凸集。如果目標函式是擬凸函式，則這個問題是擬凸問題。
如果點x滿足如下等式，則該點是最優解：
∇f(x)T(y−x)≥0
體現在幾何上，即

有時候為了簡化理論分析，可以將問題轉化為線性的目標函式：
minimizetsubjecttof

i(x)≤0,i=1,…,maTx=0,i=1,…,pf0(x)−t≤0
同時，可以通過如下方式求解擬凸問題：
f0(x)≤t⟺ϕt(x)≤0
findxsubjecttofi(x)≤0,i=1,…,maTx=0,i=1,…,pϕt(x)≤0
該方法通過在可行域上不停二分查詢，找到一個恰好有可行域的t，並且解出的的x即為次優解。
4.3 線性規劃問題(LP)
　　問題可描述為：
minimizecTx+dsubjecttoGx≤hAx=b
　　如下問題可以轉換為線性規劃：
1) 營養搭配問題，即每個食物有其價格和營養含量，目標是組合這些食物，在花費最少的情況下滿足每一種營養需求。
2) 多邊形的切比雪夫中心，即尋找多邊形內半徑最大圓的中心點。
3) 多個仿射函式最大值
4) 分片線性極小化
這裡寫圖片描述

\begin{center}
線性規劃的幾何描述
\end{center}
4.4 二次規劃(QP)
minimize(1/2)xTPx+qTx+rsubjecttoGx≤hAx=b
　　其中P為正定矩陣。如果其不等式約束為二次約束，則該問題為二次約束的二次規劃(QCQP)：
minimize(1/2)xTP

凸優化學習筆記(3)——優化問題

4 凸優化問題

凸優化學習筆記(3)——優化問題

深度學習筆記3-優化函式

深入理解Java虛擬機器學習筆記3-執行緒安全和鎖優化

凸優化學習筆記(1)——凸集

凸優化學習筆記(2)——凸函式

MySql5.6性能優化學習筆記

數據結構與算法之美專欄學習筆記-排序優化

資料結構與演算法之美專欄學習筆記-排序優化

《Oracle PL/SQL例項精講》學習筆記26——優化PL/SQL（第三部分——子程式內聯）

《Oracle PL/SQL例項精講》學習筆記26——優化PL/SQL（第二部分——PL/SQL優化級別）

《Oracle PL/SQL例項精講》學習筆記26——優化PL/SQL（第一部分——PL/SQL調優工具）

【深度學習筆記】優化演算法（ Optimization Algorithm）

區間dp 與四邊形不等式優化學習筆記

時序優化學習筆記

電商資料庫設計及優化學習筆記彙總

DP優化學習筆記

hdu3507 斜率優化學習筆記

Sql server 2008查詢效能優化學習筆記一

歸併排序演算法的優化——學習筆記

Linux學習筆記-Makefile優化之標頭檔案依賴

凸優化學習筆記(3)——優化問題

4 凸優化問題

相關推薦