1. 程式人生 > >math: 凸函式、擬凸函式和保凸運算

math: 凸函式、擬凸函式和保凸運算

這一節主要學習凸函式的定義以及性質。瞭解保凸運算,以及上鏡圖與下水平集等。這些基礎知識看似零亂,然而卻是後面的基礎。特別是,在實際應用中如果我們能把一個問題轉化為凸優化問題,是非常好的一步。而能夠這樣做的前提,是知道基本的函式的凸性以及有哪些保凸運算。上鏡圖有助於我們從集合的角度理解這個函式為什麼是凸的(集合的保凸運算);水平集是以函式的形式表示集合,類似於等高線,在歷史上是重要的方法。這裡我們通過下水平集把函式的凸性和集合的凸性聯絡了起來。

基本性質

定義

凸函式(Convex)的定義如下:

這裡寫圖片描述

即:自變數的凸組合的函式值小於等於函式值的凸組合。

嚴格凸函式,只要把等號去掉。

凹函式(Concave)是凸函式取負號。

仿射函式是既凸且凹的

常見的凸函式

  • 仿射函式
  • eaXaR
  • 指數函式:xαR++,對α1或者α0

擴充套件值延伸

定義凸函式在定義域外的值為,從而將定義域延伸至全空間Rn

一階條件(First Order Conditions)

函式f可微分,則函式f是凸函式的充要條件是其定義域dom f是凸集且對於任意的x,ydomf,下式成立

f(y)f(x)+f(x)T(yx)

即大於等於一階泰勒近似。上式說明了一個凸函式的區域性資訊。對於嚴格凸和凹函式,有相應的結論。

對於一個凸函式,其一階泰勒近似是原函式的一個全域性下估計。反之,若某個函式的一階泰勒近似總是其全域性下估計,則這個函式是凸的。

二階條件

函式f二階可微(函式在定義域的開集上處處存在二階導數),則f是凸函式的充要條件是:其Hessian矩陣是半正定矩陣。即對於所有xdomf,有

2f(x)0

此條件說明函式的倒數是非遞減的。從幾何上看是指函式影象在x點具有正的曲率。

函式f二階可微(函式在定義域的開集上處處存在二階導數),則f是凹函式的充要條件是:其Hessian矩陣是半負定矩陣。即對於所有xdomf,有

2f(x)0

R上的例子

  • 指數函式。對任意aR, 函式eax在R上是凸的
  • 冪函式。當a1或者a0時,xaR++上是凸函式;當0a1時,xaR++上是凹函式
  • 絕對值冪函式。當p1時,函式|x|pR上是凸函式。
  • 對數函式。函式log
    (x)
    R++上是凹函式。
  • 負熵。函式xlog(x)是定義域上的凸函式。

 Rn上的一些例子