基礎知識梳理2——凸優化與半定規劃(…
凸優化:
Minimize f(x)
Subject to x∈C (2.1)
f是一個凸函式,C是一個凸集,x是優化變數。我們一般將其寫作:
即要求目標函式是凸函式,變數所屬集合是凸集合的優化問題。或者目標函式是凸函式,變數的約束函式是凸函式(不等式約束時),或者是仿射函式(等式約束時)。
而常見的範數函式是凸函式,一些範數約束形式的集合是凸集合。
常見的凸優化問題包括線性規劃、二次規劃、二次約束的二次規劃、半定規劃。
半定規劃:
易看出求L1範數相當於求線性規劃:
而L1範數是L0範數的凸近似。
該問題是一個對偶問題。同樣(不知道怎麼得出來的……)核範數有著半定規劃的特性:
這個式子體現出譜範數與核範數是對偶問題(同樣看不出來作者怎麼看出來的……見後面的解釋)。
W的譜範數的限制條件(可行域?)是一個半定規劃限制因為它等價於:
而(1.4)
是一個半定規劃,可以將 表示成與(2.4)對偶的半定規劃的最優值。
(可是這一段對偶來對偶去的明顯看不懂啊!)
-------------------------------------------------------------------------------------------------------------------
= trace() AB意思是A-B是半正定矩陣
——————————————————————————————————————————————
這次參考 史加榮,鄭秀雲,周水生.矩陣補全演算法研究進展.電腦科學,其中寫:
(2.4)這個優化問題等價於:
得到關於對E.J.Candes的理解:
——————————————————————————————————————————————
譜範數是最大奇異值,核範數是奇異值之和,即一個是奇異值向量的L∞範數,一個是奇異值向量的L1範數。