以及 span lambda mit 一點 rep logs body 估計

將學習到什麽

矩陣範數相關.

?

---

基礎

?
函數 \(\lVert \cdot \rVert\)：\(M_n \rightarrow \mathbb{R}\) 稱為一個矩陣範數，如果對所有 \(A,B \in M_n\)，它滿足如下五條公理：
??(1) \(\lVert A \rVert \geqslant 0\)，非負性
??(1a) \(\lVert A \rVert = 0\) 當且僅當 \(A=0\)，正性
??(2) 對所有 \(c \in \mathbb{C}\) 有 \(\lVert cA \rVert = \lvert c \rvert \lVert A \rVert\)，齊性
??(3) \(\lVert A+B \rVert \leqslant \lVert A \rVert+\lVert B \rVert\)

，三角不等式
??(4) \(\lVert AB \rVert \leqslant \lVert A \rVert \lVert B \rVert\)，次積性
?
矩陣範數有時稱為環範數. 不滿足性質 (4) 的矩陣上的範數稱為矩陣上的向量範數，有時也稱為廣義矩陣範數，比如 \(l_{\infty}\). 矩陣半範數以及廣義矩陣半範數也可以通過去掉公理 (1a) 來定義.
?
由於對任何矩陣範數 \(\lVert A^2 \rVert \leqslant \lVert A \rVert \lVert A \rVert =\lVert A \rVert ^2\)，由此推出：對於滿足 \(A^2=A\) 的任何矩陣 \(A\)，都有 \(\lVert A \rVert \geqslant 1\)，特別地，對任何矩陣範數都有 \(\lVert I \rVert \geqslant 1\). 如果 \(A\) 是非奇異的，那麽 \(I = AA^{-1}\)，所以 \(\lVert I \rVert = \lVert AA^{-1} \rVert \leqslant \lVert A \rVert \lVert A^{-1} \rVert\)，我們就有下界估計：\(\lVert A^{-1} \rVert \geqslant \dfrac{\lVert I \rVert }{\lVert A \rVert }\)，此不等式對任何矩陣範數都成立.
?
??定義 1：設 \(\lVert \cdot \rVert\) 是 \(\mathbb{C}^n\) 上的一個範數. 在 \(M_n\) 上用
\begin{align} \label{e1}
\lVert A \rVert = \max\limits_{\lVert x \rVert=1} \lVert Ax \lVert
\end{align}
定義範數 \(\lVert \cdot \rVert\).
?
??定理 2： 定義 1 中定義的函數 \(\lVert \cdot \rVert\) 有如下性質：
??(a) \(\lVert I \rVert =1\)
??(b) 對任意的 \(A \in M_n\) 以及任意的 \(y \in \mathbb{C}^n\)，有 \(\lVert Ay \rVert \leqslant \lVert A\rVert \lVert y \rVert\)
??(c) \(\lVert \cdot \rVert\) 是 \(M_n\) 上的一個矩陣範數
??(d) \(\lVert A \rVert = \max\limits_{\lVert x \rVert=\lVert y \rVert^D=1} \lvert y^*Ax \rvert\)
?
??證明：(b) 結論中的不等式對 \(y=0\) 成立，故設給定 \(y \neq 0\) 並考慮單位向量 \(y / \lVert y \rVert\). 我們有 \(\lVert A \rVert = = \max\limits_{\lVert x \rVert=1} \lVert Ax \lVert \geqslant \left\lVert A \dfrac{y}{\lVert y \rVert} \right\rVert = \lVert Ay \rVert / \lVert y \rVert\). 所以 \(\lVert Ay \rVert \leqslant \lVert A\rVert \lVert y \rVert\).
??(c) 依次驗證五條公理即可
??(d) 利用對偶定理計算
\begin{align}
\max\limits_{\lVert x \rVert=\lVert y \rVert^D=1} \lvert y^*Ax \rvert &= \max\limits_{\lVert x \rVert=1} ( \max\limits_{\lVert y \rVert^D=1} \lvert y^*Ax \rvert) = \max\limits_{\lVert x \rVert=1} \lVert Ax \rVert ^{DD} \notag \\
&= \max\limits_{\lVert x \rVert=1} \lVert Ax \rVert = \lVert A \rVert
\end{align}
?
??定義 3： 定義 1 中定義的函數 \(\lVert \cdot \rVert\) 是由向量範數 \(\lVert \cdot \rVert\) 誘導的矩陣範數，它有時也稱為與向量範數 \(\lVert \cdot \rVert\) 相伴的算子範數或者最小上界（Lub）範數. 定理 2(b) 是說：向量範數與矩陣範數是相容的，表明：給定 \(\mathbb{C}^n\) 上任何範數，都存在 \(M_n\) 上一個相容的矩陣範數
?
矩陣上滿足 \(\lVert I \rVert =1\) 的範數稱為是單位的，定理 2 是說：每個誘導的矩陣範數都是單位的. 矩陣上的 \(l_{\infty}\) 範數是單位範數，但不是矩陣範數. 矩陣上的誘導範數永遠是矩陣範數. 這樣一來，證明 \(M_n\) 上一個非負值函數是矩陣範數的一種方法是證明它是由某個向量範數按照 \ref{e1} 中指定的方式產生出來的. 在下面的關於這個原理的每個例子中，我們都取 \(A=[a_{ij}] \in M_n\).
?
\(M_n\) 上的最大列和矩陣範數 \(\lVert \cdot \rVert _1\) 定義為
\begin{align}
\lVert A \rVert_1 = \max\limits_{1 \leqslant j \leqslant n} \sum_{i=1}^n \lvert a_{ij} \lvert
\end{align}
它是由 \(\mathbb{C}^n\) 上的 \(l_1\) 範數誘導的，從而它是一個矩陣範數.
?
\(M_n\) 上的最大行和矩陣範數 \(\lVert \cdot \rVert _{\infty}\) 定義為
\begin{align}
\lVert A \rVert_{\infty} = \max\limits_{1 \leqslant i \leqslant n} \sum_{j=1}^n \lvert a_{ij} \lvert
\end{align}
它是由 \(\mathbb{C}^n\) 上的 \(l_{\infty}\) 範數誘導的，從而它是一個矩陣範數.
?
\(M_n\) 上的譜範數 \(\lVert \cdot \rVert _2\) 定義為
\begin{align}
\lVert A \rVert_2 = \sigma_1(A)，A \text{的最大奇異值}
\end{align}
它是由 \(\mathbb{C}^n\) 上的 \(l_2\) 範數誘導的，從而它是一個矩陣範數.
?

深入一點

?
接下來我們給出一個定理：通過向任何矩陣範數中插入一個固定的相似，可以產生出新的矩陣範數.
?
??定理 4： 假設 \(\lVert \cdot \rVert\) 是 \(M_n\) 上一個矩陣範數，而 \(S \in M_n\) 是非奇異的. 那麽函數
\begin{align}
\lVert A \rVert_S = \lVert SAS^{-1} \rVert， \text{對所有}\,\,A \in M_n
\end{align}
是一個矩陣範數. 此外，如果 \(\lVert \cdot \rVert\) 是由 \(\mathbb{C}^n\) 上的範數 \(\lVert \cdot \rVert\) 誘導的，那麽矩陣範數 $\lVert A \rVert_S $ 是由 \(\mathbb{C}^n\) 上的範數 \(\lVert \cdot \rVert_S\) 誘導的
?
矩陣範數的一個重要的應用是對矩陣的譜半徑提供界限. 如果 \(\lambda\) 是 \(A\) 的任意一個特征值，\(Ax=\lambda x\)，且 \(x \neq 0\)，考慮秩 1 矩陣 \(X=x\mathrm{e}^T=[x \quad \cdots \quad x] \in M_n\)，並註意到 \(AX=\lambda X\). 如果 $\lVert \cdot \rVert $ 是任意一個矩陣範數，那麽
\begin{align}
\lvert \lambda \rvert \lVert X \rVert = \lVert \lambda X \rVert = \lVert AX \rVert \leqslant \lVert A \rVert \lVert X \rVert
\end{align}
於是 \(\lvert \lambda \rvert \leqslant \lVert A \rVert\). 由於存在某個特征值 \(\lambda\) 使得 \(\lvert \lambda \rvert=\rho(A)\)，由此推出 \(\rho(A) \leqslant \lVert A \rVert\). 現在假設 \(A\) 是非奇異的，且 \(\lambda\) 是 \(A\) 的任意一個特征值. 我們知道 \(\lambda^{-1}\) 是\(A^{-1}\) 的一個特征值，從而 \(\lvert \lambda^{-1} \rvert \leqslant \lVert A^{-1} \rVert\). 我們就證明了下面的定理.
?
??定理 5： 假設 \(\lVert \cdot \rVert\) 是 \(M_n\) 上一個矩陣範數. 設 \(A \in M_n\) ，又設 \(\lambda\) 是 \(A\) 的一個特征值. 那麽
??(a) \(\lvert \lambda \rvert \leqslant \rho(A) \leqslant \lVert A \rVert\)
??(b) 如果 \(A\) 是非奇異的，那麽 \(\rho(A) \geqslant \lvert \lambda \rvert \geqslant 1/\lVert A^{-1} \rVert\)
?
盡管譜半徑函數本身並不是 \(M_n\) 上的範數，對每個 \(A \in M_n\)，它是 \(A\) 的所有矩陣範數的值的最大下界.
?
??引理 6： 設給定 \(A \in M_n\) 以及 \(\varepsilon >0\)，則存在一個矩陣範數 \(\lVert \cdot \rVert\) 使得 \(\rho(A) \leqslant \lVert A \rVert \leqslant \rho(A) + \varepsilon\).
?
我們對於滿足 \(A^k \rightarrow 0\)（當 \(k \rightarrow \infty\) 時）的矩陣 \(A\) 的刻畫很感興趣. 下面給出一個引理.
?
??引理 7： 設給定 \(A \in M_n\). 如果存在一個矩陣範數 \(\lVert \cdot \rVert\) 使得 \(\lVert A \rVert <1\)，那麽 \(\lim\limits_{k \rightarrow \infty} A^k =0\)，也即當 \(k \rightarrow \infty\) 時，\(A^k\) 的每個元素都趨於零.
?
??證明： 關於範數 \(\lVert \cdot \rVert\) 有 \(A^k \rightarrow 0\)，由於 \(n^2\) 維賦範線性空間 \(M_n\) 上所有的範數都是等價的，由此推出：關於 \(M_n\) 上的向量範數 \(\lVert \cdot \rVert_{\infty}\) 有 \(A^k \rightarrow 0\).
?
使得 \(\lim\limits_{k \rightarrow \infty} A^k =0\) 成立的矩陣 \(A \in M_n\) 稱為收斂的，它們在叠代過程分析以及其它許多應用中是非常重要的. 它們的特征可以用譜半徑不等式加以刻畫.
?
??定理 8：設 \(A \in M_n\). 那麽 \(\lim\limits_{k \rightarrow \infty} A^k =0\) 當且僅當 \(\rho(A) <1\).
?
??證明：如果 \(A^k \rightarrow 0\)，且如果 \(x \neq 0\) 是使得 \(Ax=\lambda x\) 成立的一個向量，那麽僅當 \(\lvert \lambda \rvert <1\) 時才有 \(A^kx=\lambda ^k x \rightarrow 0\). 由於這個不等式必須對 \(A\) 的每一個特征值成立，這就得出 \(\rho(A) <1\). 反之，如果 \(\rho(A) <1\)，那麽引理 6 就確保存在某個矩陣範數 \(\lVert \cdot \rVert\) 使得 \(\lVert A \rVert <1\)，從而引理 7 就確保當 \(k \rightarrow \infty\) 時有 \(A^k \rightarrow 0\).
?
有時我們需要知道當 \(k \rightarrow \infty\) 時 \(A^k\) 的元素大小的界限. 一個有用的上界就是上一定理的一個直接推論.
?
??推論 9：設給定 \(A \in M_n\) 以及 \(\varepsilon >0\). 則存在一個常數 \(C=C(A,\varepsilon)\)，使得對所有 \(k=1,2,\cdots\) 以及所有 \(i,j=1,\cdots,n\) 都有 \(\lvert (A^k)_{ij} \rvert \leqslant C(\rho(A)+\varepsilon)^k\).
?
??證明： 考慮矩陣 \(\tilde{A}=[\rho(A)+\varepsilon]^{-1}A\)，它的譜半徑嚴格小於 \(1\). 我們知道當 \(k \rightarrow \infty\) 時有 \(\tilde{A}^k \rightarrow 0\). 特別地，序列 \(\\{\tilde{A}^k\\}\) 是有界的，所以存在某個有限的 \(C>0\)，使得對所有 \(k=1,2,\cdots\) 以及所有 \(i,j=1,\cdots,n\) 都有 \(\lvert (A^k)_{ij} \rvert \leqslant C\).
?
盡管說 \(A^k\) 的單個元素的性狀與 \(k \rightarrow \infty\) 時 \(\rho(A)^k\) 的性狀相仿是不夠精確的，對於任何矩陣範數 \(\lVert \cdot \rVert\)，序列 \(\\{\lVert A^k\rVert\\}\) 的確都有這個漸近性質.
?
??推論 10（Gelfand 公式）： 設 \(\lVert \cdot \rVert\) 是 \(M_n\) 上一個矩陣範數，又設 \(A \in M_n\). 那麽 \(\rho(A)=\lim\limits_{k \rightarrow \infty} \lVert A^k\rVert^{1/k}\).
?
??證明：由於 $\rho(A)^k=\rho(A^k) \leqslant \lVert A^k \rVert $，故而對所有 \(k=1,2,\cdots\) 都有 \(\rho(A) \leqslant \lVert A^k\rVert^{1/k}\). 如果給定 \(\varepsilon >0\)，則矩陣 \(\tilde{A}=[\rho(A)+\varepsilon]^{-1}A\) 的譜半徑嚴格小於 \(1\)，故而它是收斂的. 這樣一來，當 \(k \rightarrow \infty\) 時有 \(\lVert A^k \rVert \rightarrow 0\)，且存在某個 \(N=N(\varepsilon, A)\)，使得對所有 \(k \geqslant N\) 都有 $\lVert \tilde{A}^k \rVert \leqslant 1 $. 這正好就是如下命題：對所有 \(k \geqslant N\) 都有 \(\lVert \tilde{A}^k \rVert \leqslant (\rho(A)+\varepsilon)^k\)，或者說對所有 \(k \geqslant N\) 都有 \(\lVert A^k \rVert^{1/k} \leqslant \rho(A)+\varepsilon\). 由於 \(\varepsilon >0\) 是任意的，且對所有 \(k\) 有 \(\rho(A) \leqslant \lVert A^k\rVert^{1/k}\)，我們就推出極限 \(\lim\limits_{k \rightarrow \infty} \lVert A^k\rVert^{1/k}\) 存在且等於 \(\rho(A)\).
?

---

應該知道什麽

• 不滿足次積性的矩陣上的範數稱為矩陣上的範數（比如 \(l_{\infty}\)），跟矩陣範數不一樣

矩陣範數