凸優化學習筆記(2)——凸函式

筆記是根據《Convex Optimization》寫的，序號對應章。

3 凸函式

3.1 基本性質及例子
　　滿足如下條件的從n維對映到1維的函式稱凸函式：

f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
其中0≤θ≤1。凸函式的一維導數有如下性質：
f(y)≥f(x)+∇f(x)T(y−x)
可以注意到其實等號右邊是f在x上的一階泰勒展開式。另外，凸函式的二階導數大於或等於0。凸函式舉例如下：
1) 指數函式eax
2) 冪函式xa，其中x大於或等於0，當a不屬於0-1範圍內時為凸函式，否則為凹函式
3) 絕對值的冪函式|x|a，其中a>1
4) 對數函式l

ogx
5) 負熵xlogx
6) 範數
7) 最大值函式max(x)
8) 二次-線性分式函式f(x,y)=x2/y，y大於0
9) 指數和的對數f(x)=log(ex1+ex2+,…,+exn).這其實是一個soft-max
10) 幾何平均f(x)=(∏ni=1xi)1/n
11) 行列式的對數log|A|，其中A矩陣正定
　　另外還有兩個概念。下水平集：即函式值小於某個閾值對應的定義域。上鏡圖：即{(x,t)|t≥f(x)}，這是一片函式之上的區域。同時，凸函式滿足jensen不等式。
3.2 保凸運算
1)非負加權和，即把多個函式乘上一個非負的權重加起來。
2)複合仿射
g

(x)=f(Ax+b)
如果f是凸的，則g是凸的。如果f是凹的，g也是凹的。即對自變數仿射後保凸。
3)逐點最大，即多個函式中相同自變數取其中最大者，該運算保凸。
4)複合
　　設f(x)=h(g(x))，則有如下情況：
　　如果h是凸函式且非減，g是凸函式，則f是凸函式。
　　如果h是凸函式且非增，g是凹函式，則f是凸函式。
　　如果h是凹函式且非減，g是凹函式，則f是凹函式。
　　如果h是凹函式且非增，g是凸函式，則f是凹函式。
f的拓展函式與上相同。
5)下界
g(x)=inf(y∈C)f(x,y)
　　如果f在(x,y)中是凸的，則g也是凸的。
6)透視函式
g

(x,t)=tf(x/t)
　　其中t大於0.如果f是凸的，則g是凸的，如果f是凹的，g也是凹的。
3.3 共軛函式
　　共軛函式表示式是：
f∗(y)=supx(yTx−f(x))
其中sup是求上界。其含義是，給定y時平面yTx到f(x)的最大距離。下圖的虛線即平面yTx，yTx到

凸優化學習筆記(2)——凸函式

3 凸函式

凸優化學習筆記(2)——凸函式

凸優化學習筆記(1)——凸集

凸優化學習筆記(3)——優化問題

深度學習筆記2-啟用函式

吳恩達機器學習筆記2-代價函式(cost function)

凸優化、最優化、凸集、凸函式

AC自動機學習筆記-2（Trie圖&&last優化）

py學習筆記2-函式

凸優化（四）凸函式分析

花書學習筆記(2) 病態、梯度優化、約束優化

計算幾何：凸包學習筆記 --- Graham 掃描法

Numpy學習筆記3--常用函式2

Linux C程式設計學習筆記(2)：open、creat、close函式及檔案的建立、開啟與關閉

OpenCV 學習筆記03 凸包convexHull、道格拉斯-普克算法Douglas-Peucker algorithm、approxPloyDP 函數

R語言學習筆記2——常用數學函式

深度學習筆記2：池化全連線啟用函式 softmax

PYTHON 學習筆記2 流程控制工具以及函式定義、匿名函式

學習筆記2

Jmeter學習筆記2-原件作用域與執行順序

python學習筆記2：字符串

凸優化學習筆記(2)——凸函式

3 凸函式

相關推薦