範數||x||（norm）筆記
1. 範數的含義和定義
範數是具有“長度”概念的函式。線上性代數、泛函分析及相關領域，是一個函式，它為向量空間內的所有向量賦予非零的正的長度或大小。另一方面，半範數可以為非零的向量賦予零長度。
例如，在二維歐式幾何空間\(R^2\)中（簡單理解就是二維座標系）就有歐式範數。在這個向量空間的元素（比如向量\((3,7)\)）常常在笛卡爾座標系統中被畫成一個從原點出發的箭頭，而這個向量的歐式範數就是箭頭的長度。
擁有（定義）範數的向量空間就是賦範向量空間，擁有（定義）辦法書的向量空間就是賦半範向量空間
更加規範的定義：
假設V是域F上的向量空間；V的半範數是一個函式：\(p:V\rightarrow R;x\rightarrow p(x)\)
- \(p(v)\ge 0\)（具有半正定性）
- \(p(av)=|a|p(v)\)（具有絕對一次齊次性）
- \(p(u+v)\le p(u)+p(v)\)（滿足三角不等式，或者稱次可加性）
範數是一個半範數加上額外的性質：
- \(p(v)=0\)，當且僅當\(v\)是零向量（正定性）
若拓撲向量空降的拓撲可以被範數匯出，這個拓撲向量空間被稱為賦範向量空間。
2.例子
- 所有的範數都是半範數
- 平凡半範數，即\(p(x)=0,\forall x \in V\)
- 絕對值是實數集上的一個範數
- 對向量空間上的線性型\(f\)可以定義一個半範數：\(x\rightarrow |f(x)|\)
絕對值範數
絕對值範數為：
\[||x||=\sum^n_i|x_i| \]是在由實數或虛數構成的一維向量空間中的範數
絕對值範數是曼哈頓範數的特殊形式
\(L_p\)範數
\(L_p\)範數是向量空間中的一組範數。\(L_p\)範數與冪平均有一定的聯絡，定義如下：
\[L_p(\vec{x})=||\vec{x}||_p=(\sum^b_{i=1}|x_i|^p)^{\frac{1}{p}}\ \ ,\ \vec{x}=\{x_1,x_2,x_3,...,x_n\},p\ge 1 \]圖中的q應為p。這是p取不同值是，在\(R^2\)空間上的\(L_p\)範數等高線的其中一條。該圖展示了各\(L_p\)
-
\(p=0 : ||\vec{x}||_0=x_i不等於0的個數\)。注意，這裡的\(L_0\)範數並非通常意義上的範數（不滿足三角不等式或次可加性）
-
\(p=1 : ||\vec{x}||_1=\sum^{n}_{i=1}|x_i|\)，即\(L_1\)範數是向量各分量絕對值之和，又稱曼哈頓距離、最小絕對誤差等。使用L1範數可以度量兩個向量之間的差異，汝絕對誤差和（Sum of Absolute Difference）
由於L1範數的天然性質，對L1優化的解是一個稀疏解（查不到準確的定義，不過大概意思就是說這個解向量中很多項都是零），L1範數也就被稱作稀疏規則運算元
-
\(p=2 : ||\vec{x}||_2=\sqrt{\sum^n_{i=1}|x_i|^2}\)，此為歐氏距離
-
\(p=+\infty : ||\vec{x}||_{\infty}=\lim\limits_{p\rightarrow\infty}(\displaystyle\sum_{i=1}^{n}|x_i|^p)^{\frac{1}{p}}=\underset{i}{max}\ |x_i|\)[1]，通常表示元素的最大值，即無窮範數或最大範數
歐幾里得範數
在n維歐幾里得空間\(R^n\)上，向量\(x=(x_1,x_2,x_3,...,x_n)^T\)的最符合直覺的長度由以下公式給出：
\[||x||_2=\sqrt{x_1^2+...+x_n^2} \]根據勾股定理，它給出了從原點到點x之間的（通常意義下）的距離。歐幾里得範數是\(R^n\)上最常用的範數，但正如下面所舉出的，\(R^n\)上也可以定義其它的範數。然而，以下定義的範數都定義了同一個拓撲結構，因此它們在某種意義上都是等價的。
在一個n維複數空間\(C^n\)中，最常見的範數是：
\[||z||=\sqrt{|z_1|^2+...+|z_n|^2}=\sqrt{z_1\overline{z}_1+...+z_n\overline{z}_n} \]以上兩者又可以以向量與自身的內積的平凡根表示：
\[||x||=\sqrt{x^*x} \]其中x是一個列向量\(([x_1,x_2,...,x_n]^T)\)，而\(x^*\)表示其共軛轉置
以上公式適用於任何內積空間，包括歐式空間和復空間。在歐幾里得空間裡，內積等價於電機，因此公式可以寫為：
\[||x||=\sqrt{x·x} \]特別的，\(R^{n+1}\)中所有的歐幾里得範數為同一個給定正實數的向量的集合是一個n維球面。
矩陣範數
矩陣可以看做向量空間上的一次向量的線性變換，矩陣範數就是用來衡量變化幅度大小的
誘導範數
由向量範數的\(L_p\)範數誘導而來：
列和範數
\[||A||_1=\underset{j}{max}\sum^m_{i=1}|a_{ij}| \]即所有矩陣的列向量絕對值之和的最大值
譜範數
\[||A_2||_2=\sqrt{\lambda_1},\lambda_1為A^TA的最大特徵值 \]即\(A^TA\)矩陣的最大特徵值的開平方
行和範數
\[\infty -範數：||A||_{\infty}=\underset{i}{max}\sum^m_{j=1}||a_{ij}|| \]即所有矩陣行向量絕對值之和的最大值
非誘導範數
Frobenius範數
\[F-範數：||A||_F=\sum^m_{i=1}(\sum^n_{j=1}|a_{ij}|^2)^{\frac{1}{2}} \]即矩陣元素絕對值的平方和再開平方
核範數
\[||A||_*=\sum^n_{i=1}\lambda_i,\lambda_i為矩陣A的奇異值 \]指矩陣奇異值的和
參考：
一些更深入的相關知識：
看一個例子\(\underset{x_i}{min}\ \underset{y_i}{max}\ |\varepsilon_i|,\varepsilon_i=x_i-y_i\).這個例子裡面 |εi|是考察物件，而 xi 和 yi 是兩個變數。xi 可以取很多值， yi也可以取很多值。兩個下標的意思是：遍歷所有的xi和yi取值。先看裡面那一層，即 max|εi|.它的意思是，xi取一個固定的值（比如x1），yi遍歷所有取值，使得|εi|最大值，這樣就找到了(x1, ym1, |εi|1) 這樣一個樣本。然後，改變xi的值（比如x2），再遍歷yi取值，又可以找到|εi|最大值，即 (x2, ym2, |εi|2）的情況。……以此類推，可以理解 min{ }，就是在 xi 取所有情況時，從找到的 |εi|1, |εi|2 .... 中找最小值。 ↩︎