1. 仿射集 Affine Sets

1）定義

定義1：\(x_1, x_2\)為集合\(C\subseteq \mathbb{R}^n\)中的任意兩點，如果穿過\(x_1,x_2\)的直線仍在\(C\)內，那麼\(C\)為仿射集。
定義2：對於任意\(x_1,x_2\in C\)，\(\theta\in \mathbb{R}\)，如果 \(\theta x_1+(1-\theta)x_2\in C\)，那麼\(C\)為仿射集。

2）仿射組合

擴充套件：如果\(C\)為仿射集，\(x_1,...,x_k\in C\) 並且 \(\theta_1+...+\theta_k=1\)，那麼\(\theta_1 x_1+...+\theta_k x_k\in C\)

。其中，\(\theta_1 x_1+...+\theta_k x_k\)稱為仿射組合（Affine Combination）。

如果\(C\)為仿射集，\(x_0\in C\)，那麼\(V=C-x_0=\{x-x_0|x\in C\}\)稱為與\(C\)相關的子空間。 (相當於平移)

線性方程組的解集是仿射集？證：
\(C=\{x|Ax=b\}, A\in \mathbb{R}^{m\times n}, x\in \mathbb{R}^n, b\in \mathbb{R}^m\)
對任意\(x_1,x_2\in C\) 有\(Ax_1=b, Ax_2=b\)，那麼設 \(\theta \in \mathbb{R}\)，我們想證：
\(\theta x_1 +(1-\theta)x_2\)是否\(\in C\)，即
\(A(\theta x_1 +(1-\theta)x_2)\)是否\(= b\)，整理可得：
\(\theta A x_1 + (1-\theta) A x_2=\theta b+(1-\theta)b=b\)。

對集合\(V\)的分析：

\[V=\{x-x_0|x\in C\}, \forall x_0\in C \\ =\{x-x_0|Ax=b\}, Ax_0= b\\ =\{x-x_0|A(x-x_0)=0\}\\ =\{y|Ay=0\} \]

為A的零空間（null space）。

3）仿射包

仿射包(affine hull)

：任意集合\(C \in \mathbb{R}^n\)，\(C\)中的點所構成的全部仿射組合的集合稱為\(C\)的仿射包，記為\({\rm aff} \; C\)：

\[{\rm aff} \; C=\{\theta_1 x_1+...+\theta_k x_k|x_1,...,x_k\in C, \theta_1+...+\theta_k=1\} \]

可以看出，集合\(C\)的仿射包是包含\(C\)的最小仿射集；\(S\)是任意仿射集，如果\(C\subseteq S\)，那麼\({\rm aff} \; C \subseteq S\)。

2. 凸集 Convex Sets

1）定義

定義1：\(x_1, x_2\)為集合\(C\subseteq \mathbb{R}^n\)中的任意兩點，如果穿過\(x_1,x_2\)的線段仍在\(C\)內，那麼\(C\)為凸集。
定義2：對於任意\(x_1,x_2\in C\)，\(\theta\in [0,1]\)，如果 \(\theta x_1+(1-\theta)x_2\in C\)，那麼\(C\)為仿射集。

圖1. 左：六邊形，包括邊，是凸集；中：非凸集合；右：正方形， 不包含邊上的某些點，非凸（如果不含的點只在四個角上，為凸集）。

2）凸組合

類似的，\(x_1,...,x_k\)的凸組合是\(\theta_1 x_1+...+\theta_k x_k\)這樣相加得到的點，其中\(\theta_1+...+\theta_k =1\)，並且\(\theta_i \in [0,1]\)，\(i=1,...,k\)。凸組合可以看做是點的混合(mixture)或加權平均(weighted average)，其中\(\theta_i\)是混合中\(x_i\)的分數。

擴充套件：\(C\)為凸集\(\Leftrightarrow\)(當且僅當)\(C\)中任意元素的凸組合\(\in C\)。

3）凸包

凸包(convex hull)：任意集合\(C \in \mathbb{R}^n\)，\(C\)中的點所構成的全部凸組合的集合稱為\(C\)的凸包，記為\({\rm conv} \; C\)：

\[{\rm conv} \; C=\{\theta_1 x_1+...+\theta_k x_k|x_i\in C, \theta_i\in[0,1], i=1,...,k,\theta_1+...+\theta_k=1\} \]

集合\(C\)的凸包是包含\(C\)的最小凸集；\(B\)是任意凸集，如果\(C\subseteq B\)，那麼\({\rm conv}\;C\subseteq B\)。

圖2. \(\mathbb{R}^2\)中的兩個凸包，左圖中的集合（15個點構成的集合）的凸包是一個五邊形（陰影部分）；右圖陰影部分為圖1中間的圖形的凸包。

凸組合的概念也可歸納為無限累加、積分，以及最一般形式的概率分佈：
設 \(\theta\) 滿足：\(\sum_{i=1}^{\infty}\theta_i =1\)，\(\theta_i\in[0,1]\)，\(x_i\in C\)，其中\(C\subseteq \mathbb{R}^n\)為凸集，那麼\(\sum_{i=1}^{\infty}\theta_ix_i\in C\)(如果級數收斂)。

更一般地，設 \(p:\mathbb{R}^n \rightarrow \mathbb{R}\)滿足:對於所有的\(x\in C\)有\(p(x)\in [0,1]\)，並且\(\int_{C}p(x)dx=1\)，其中\(C\subseteq \mathbb{R}^n\)為凸集，那麼\(\int_{C}p(x)xdx\in C\)(如果積分存在)。

3 錐 Cones

1)定義

集合\(C\)為錐（cone）\(\Leftrightarrow\)對於任意\(x\in C\)，\(\theta \geq 0\)，有\(\theta x \in C\)。
集合\(C\)為凸錐(convex cone)\(\Leftrightarrow\)對於任意\(x_1,x_2\in C\)，\(\theta_1,\theta_2 \geq 0\)，有\(\theta_1 x_1+\theta_2x_2 \in C\)。

圖3. 凸錐在幾何上可以描述為：頂點為0且邊緣穿過\(x_1\)和\(x_2\)的二維餅圖

2）錐組合

\(x_1,...,x_k\)的錐組合(conic combination)為\(\theta_1 x_1 +,...,+\theta_k x_k\)這樣相加得到的點，其中\(\theta_1,...,\theta_k \geq 0\)。
如果\(x_i\in C\)，\(C\) 是凸錐，那麼\(x_i\)的任意錐組合在\(C\)內。
集合\(C\)是凸錐\(\Leftrightarrow\)\(C\)包含\(C\)中元素的所有的錐組合。
類似的，錐組合的概念可以一般化到無窮累加和積分。

3）錐包

集合\(C\)的錐包(conic hull)是\(C\)內點的所有錐組合構成的集合，即：

\[\{\theta_1x_1+...+\theta_kx_k|x_i\in C, \theta_i\geq 0, i=1,...,k\} \]

集合\(C\)的錐包是包含\(C\)的最小凸錐。

圖4. 圖2中的兩個集合的錐包（陰影部分）；如果集合為兩個點，且兩點連線通過0點，它的錐包為一條通過這兩點，頂點為0的射線

4 一些特例

• 仿射集都是凸集。
• 任何的空集\(\varnothing\)，只包含一個點的集合\(\{x_0\}\)，和整個\(\mathbb{R}^n\)空間都是仿射集。
• 任何直線都是仿射集，如果直線通過0點，那麼它是一個凸錐。
• （有長度的）線段是凸集，但不是仿射集。
• 一條射線，形式為\(\{x_0 + θ_v | θ \geq 0\}\)，其中 \(v \neq 0\)，是凸的，但不是仿射的。 如果\(x_0=0\)，則它是凸錐。
• 任何子空間都是仿射集，並且是凸錐。