變分特征以及子空間的交
將學習到什麽
從 Hermite 矩陣的實特征值出發，刻畫了 Rayleigh 商定理. 進介紹了描述子空間與特征值大小關系的 Courant-Fischer 極小極大定理.
?
Rayleigh 商定理
?
由於 Hermite 矩陣 \(A \in M_n\) 的特征值是實的，我們可以約定按照代數非減的次序排列：
\begin{align} \label{e1}
\lambda_{\min}=\lambda_1 \leqslant \lambda_2 \leqslant \cdots \leqslant \lambda_{n-1} \leqslant \lambda_n =\lambda_{\max}
當討論中涉及若幹個 Hermite 矩陣時，可以按上述次序標記特征值：\(\{\lambda_i(A)\}_{i=1}^n\), \(\{\lambda_i(B)\}_{i=1}^n\), 如此等等.
Hermite 矩陣 \(A\) 的最小的和最大的特征值可以被刻畫成與Rayleigh 商 \(x^*Ax / x^*x\) 有關的極小與極大問題的解. 支持 Rayleigh 商定理的基本事實如下：對於 Hermite 矩陣 \(A\in M_n\), \(A\) 的不同特征值相伴的特征向量是自動正交的（左右特征向量的雙正交定理），\(A\) 與單獨一個特征值 \(\lambda\)
?
??定理1（Rayleigh）： 設 \(A \in M_n\) 是 Hermite 的，令 \(A\) 的特征值排序如 \ref{e1} 那樣，設 \(i_1,\cdots,i_k\) 是給定的整數，\(1 \leqslant i_1 < \cdots < i_k\leqslant n\), 設 \(x_{i_1},\cdots,x_{i_k}\) 是標準正交的，且使得對每個 \(p=1,\cdots,k\)
??(a)
\begin{align}
\lambda_{i_1} & = \min\limits_{\{x:0\neq x \in S\}} \frac{x^*Ax}{x^*x} = \min\limits_{\{x:x\in S \text{且}\lVert x \rVert _2 =1 \}} x^*Ax \notag \\
& \leqslant \max\limits_{ \{ x:x\in S \text{且}\lVert x \rVert _2 =1 \}} x^*Ax = \max \limits_{\{x:0\neq x \in S\}} \frac{x^*Ax}{x^*x} = \lambda_{i_k}
\end{align}
??(b) 對任何單位向量 \(x \in S\) 都有 \(\lambda_{i_1} \leqslant x^*Ax \leqslant \lambda_{i_k}\)，右邊（左邊）不等式中的等式當且僅當 \(Ax=\lambda_{i_k}x\)（\(Ax=\lambda_{i_1}x\)）時成立
??(c) 對任何單位向量 \(x \in \mathbb{C}^n\) 都有 \(\lambda_{\min} \leqslant x^*Ax \leqslant \lambda_{\max}\)，右邊（左邊）不等式中的等式當且僅當 \(Ax=\lambda_{\max}x\)（\(Ax=\lambda_{\min}x\)）時成立. 此外，我們有
\begin{align}
\lambda_{\max}=\max_{x\neq 0} \frac{x^*Ax}{x^*x} \text{以及} \lambda_{\min}=\min_{x\neq 0} \frac{x^*Ax}{x^*x}
\end{align}
?
??證明：不妨令 \(x \in S\) 是給定的任何非零的單位向量. 存在純量 \(\alpha_1, \cdots, \alpha_k\), 使得 \(x=\alpha_1 x_{i_1}+\cdots +\alpha_k x_{i_k}\), 標準正交性確保 \(1=x^*x= \sum\limits_{p,q=1}^k \bar{\alpha}_p \alpha_q x_{i_p}^* x_{i_q}=\lvert \alpha_1 \rvert ^2 + \cdots + \lvert \alpha_k \rvert ^2\). 那麽
\begin{align}
x^*Ax=(\alpha_1 x_{i_1}) + \cdots + \alpha_k x_{i_k})^* (\alpha_1 \lambda_{i_1} + \cdots + \alpha_k \lambda_{i_k}x_{i_k})= \lvert \alpha_1 \rvert ^2 \lambda_{i_1} + \cdots + \lvert \alpha_k \rvert ^2 \lambda_{i_k} \notag
\end{align}
就是實數 $ \lambda_{i_1},\cdots, \lambda_{i_k} $ 的一個凸組合，所以它介於這些數中最小值（$ \lambda_{i_1} $）以及最大值（ \(\lambda_{i_k}\)）之間. 此外，$x^*Ax=\lvert \alpha_1 \rvert ^2 \lambda_{i_1} + \cdots + \lvert \alpha_k \rvert ^2 \lambda_{i_k} = \lambda_{i_k} $ 當且僅當只要 \(\lambda_{i_p} \neq \lambda_{i_k}\) 就有 $\alpha_p = 0 $, 當且僅當 \(x = \sum\limits_{\{p:\lambda_{i_p}=\lambda_{i_k}\}} \alpha_px_{i_p}\), 當且僅當 \(x \in S\) 是 \(A\) 的一個與特征值 \(\lambda_{i_k}\) 相伴的特征向量. 類似地推理就對 \(x^*Ax=\lambda_{i_1}\) 建立了等式成立的情形. (c) 中的結論可以從 (b) 中的結論推出，這是因為如果 \(k=n\), 就有 \(S = \mathbb{C}^n\).
?
上個定理中 (c) 的幾何解釋是：\(\lambda_{\max}\) 中連續實值函數 \(f(x)=x^*Ax\) 在 \(\mathbb{C}^n\) 中的單位球面（這是一個緊集）上的最大值（而 \(\lambda_{\min}\) 則是最小值）.
?
Courant-Fischer 極小極大定理
?
在關於 Hermite 矩陣的特征值的討論中，需要借助於關於子空間交的如下基本結果.
?
??引理1（子空間的交）： 設 \(S_1, \cdots, S_k\) 是 \(\mathbb{C}^n\) 的給定的子空間. 如果 \(\delta = \mathrm{dim} S_1 + \cdots + \mathrm{dim} S_k -(k-1)n \geqslant 1\), 則存在標準正交向量 \(x_1,\cdots, x_{\delta}\), 使得對每個 \(i=1,\cdots, k\), 都有 \(x_1,\cdots, x_{\delta} \in S_i\). 設 \(x_1,\cdots, x_{\delta}\) 是 \(S_1 \cap \cdots \cap S_k\) 的一組標準正交基中任意 \(\delta\) 個元素.
?
理解引理，關於 \(\delta\) 這個數值，不妨舉倆例子，如果 \(k=1\), 說明這個子空間不能是零空間，\(\delta\) 就是這個非零空間的維數, 如果 \(k=2\), 說明這兩個子空間維數之和要嚴格大於 \(n\), 而 \(\delta\) 表示這個差值. 引理的意思就是存在 \(\delta\) 個標準正交向量是這些子空間共有的, 即子空間的維數.
?
由變分特征所產生的不等式通常是那些有關一個適當的實值函數 \(f\) 以及一個非空集合 \(S\) 簡單結論. 這個結論是：如果用更大的集合 \(S' \supset S\) 代替 \(S\), 則 \(\sup\{f(x):x \in S\}\) 不減（ \(\inf\{f(x):x \in S\}\) 不增）. 即定義域變大了，值域也變大.
?
??引理2： 設 \(f\) 是集合 \(S\) 上的一個有界實值函數，並假設 \(S_1\) 與 \(S_2\) 是使得 \(S_1\) 非空且滿足 \(S_1 \subset S_2 \subset S\) 的集合. 那麽
\begin{align}
\sup_{x \in S_2} f(x) \geqslant \sup_{x \in S_1} f(x) \geqslant \inf _{x \in S_1} f(x) \geqslant \inf_{x \in S_2} f(x)
\end{align}
?
在有關 Hermite 矩陣 \(A\) 的許多特征值不等式中，\(A\) 的特征值的下界可以通過 \(-A\) 的特征值的上界得出. 在這方面有下面的結論.
?
??結論1： 設 \(A \in M_n\) 是 Hermite 矩陣且有特征值 \(\lambda_1 (A) \leqslant \cdots \leqslant \lambda_n(A)\), 按 \ref{e1} 中那樣排序. 那麽 \(-A\) 的有序排列的特征值是 \(-\lambda_n (A) \leqslant \cdots \leqslant -\lambda_1(A)\), 即 \(\lambda_k(-A)=-\lambda_{n-k+1}(A)\),\(k=1,\cdots,n\).
?
下面利用上面的引理的 Rayleigh 商定理給出 Courant-Fischer 極小極大定理.
?
??定理2（Courant-Fischer 極小極大定理）： 設 \(A \in M_n\) 是 Hermite 矩陣，且設 \(\lambda_1 \leqslant \cdots \leqslant \lambda_n\) 為它的按照次序排列的特征值. 設 \(k \in \{1,\cdots,n\}\) 且 \(S\) 表示 \(\mathbb{C}^n\) 的一個子空間. 那麽就有
\begin{align} \label{e5}
\lambda_k = \min_{\{S:\mathrm{dim}S=k\}} \max_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x}
\end{align}
以及
\begin{align} \label{e4}
\lambda_k = \max_{\{S:\mathrm{dim}S=n-k+1\}} \min_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x}
\end{align}
?
??證明： 設 \(x_1,\cdots, x_n \in \mathbb{C}^n\) 是標準正交的，且對每個 \(i=1,\cdots, n\) 都有 \(Ax_i = \lambda_i x_i\). 設 \(S \in \mathbb{C}^n\) 的任意一個 \(k\) 維子空間，又令 \(S' = \mathrm{span} \{x_k,\cdots, x_n\}\). 那麽
\begin{align}
\mathrm{dim} S + \mathrm{dim} S‘ = k+ (n-k+1) =n+1
\end{align}
所以 \(\{x:0 \neq x \in S \cap S'\}\) 是非空的. 借助引理 1 和 Rayleigh 商定理，我們看到
\begin{align}
\sup_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x} & \geqslant \sup_{\{x:0 \neq x \in S \cap S‘\}} \frac{x^*Ax}{x^*x} \geqslant \inf _{\{x:0 \neq x \in S \cap S‘\}} \frac{x^*Ax}{x^*x} \notag \\
& \geqslant \inf _{\{x:0 \neq x \in S‘\}} \frac{x^*Ax}{x^*x} = \min _{\{x:0 \neq x \in S‘\}} \frac{x^*Ax}{x^*x} = \lambda_k
\end{align}
它蘊含
\begin{align} \label{e3}
\inf _{\{S: \mathrm{dim}S=k\}} \sup_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x} \geqslant \lambda_k
\end{align}
然而，\(\mathrm{rank} \{x_1,\cdots, x_k\}\) 包含特征向量 \(x_k\), \(\mathrm{rank} \{x_1,\cdots, x_k\}\) 是對於子空間 \(S\) 的一種選擇，且 \(x_k^*Ax_k / x^*x_k = \lambda_k\), 所以不等式 (\ref{e3}) 實際上是等式，其中的下確界和上確界是達到的：
\begin{align}
\inf _{\{S:\mathrm{dim}S=k\}} \sup_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x}=\min _{\{S:\mathrm{dim}S=k\}} \max_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x} = \lambda_k
\end{align}
結論 (\ref{e4}) 可通過將 (\ref{e5}) 與 結論 1 應用於 \(-A\) 得出：
\begin{align}
-\lambda_k & = \min _{\{S:\mathrm{dim}S=n-k+1\}} \max_{\{x:0 \neq x \in S\}} \frac{x^*(-A)x}{x^*x} = \min _{\{S:\mathrm{dim}S=n-k+1\}} \max_{\{x:0 \neq x \in S\}} \left(-\frac{x^*Ax}{x^*x}\right) \notag \\
&= \min _{\{S:\mathrm{dim}S=n-k+1\}} \left(- \min _{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x}\right) = -\left( \max_{\{S:\mathrm{dim}S=n-k+1\}} \min_{\{x:0 \neq x \in S\}} \frac{x^*Ax}{x^*x} \right)
\end{align}
由此就得出 (\ref{e4}).
?
如果在 (\ref{e5}) 中有 \(k=n\), 或者在 (\ref{e4}) 中有 \(k=1\), 就可以略去外層的最優化並置 \(S=\mathbb{C}^n\), 因為這是僅有的 \(n\) 維子空間.
如果有一個 Hermite 矩陣 \(A \in M_n\) 以及它的 Hermite 型 \(x^*Ax\) 在一個子空間上的界，就可以對它的特征值來談點什麽.
?
??定理3： 設 \(A \in M_n\) 是 Hermite 矩陣， \(A\) 的特征值按照增加的次序排列，設 \(S\) 是 \(\mathbb{C}^n\) 的一個給定的 \(k\) 維子空間，又設給定 \(c \in \mathbb{R}\).
??(a) 若對每個單位向量 \(x \in S\) 都有 \(x^*Ax \geqslant c\)（\(x^*Ax > c\)）, 則 \(\lambda_{n-k+1}(A) \geqslant c\)（\(\lambda_{n-k+1}(A) > c\)）.
??(b) 若對每個單位向量 \(x \in S\) 都有 \(x^*Ax \leqslant c\)（\(x^*Ax < c\)）, 則 \(\lambda_k(A) \leqslant c\)（\(\lambda_k (A) > c\)）.
?
??證明： 設 \(x_1,\cdots, x_n \in \mathbb{C}^n\) 是標準正交的，且對每個 \(i=1,\cdots, n\) 都有 \(Ax_i = \lambda_i(A) x_i\). 又設 \(S_1 = \mathrm{span} \{x_1,\cdots, x_{n-k+1}\}\). 那麽 $\mathrm{dim} S + \mathrm{dim} S_1 = k+(n-k+1)=n+1 $ , 所以存在一個單位向量 \(x \in S \cap S_1\). 我們在 (a) 中的假設 \(x^*Ax \geqslant c\,\,(x\in S)\) 以及 Rayleigh 商定理（\(x \in S_1\)）合在一起就確保有
\begin{align}
c \leqslant x^*Ax \leqslant \lambda_{n-k+1}(A)
\end{align}
所以 \(\lambda_{n-k+1} \geqslant c\), 如果 \(x^*Ax > c\), 則有嚴格不等式成立. (b) 中有關 \(A\) 的特征值的上界的結論可通過將 (a) 應用於 \(-A\) 得出.
?
??推論1： 設 \(A \in M_n\) 是 Hermite 矩陣，如果對一個 \(k\) 維子空間中所有的 \(x\) 都有 \(x^*Ax \geqslant 0\), 那麽 \(A\) 至少有 \(k\) 個非負的特征值. 如果對一個 \(k\) 維子空間中所有非零的 \(x\) 都有 \(x^*Ax >0\), 那麽 \(A\) 至少有 \(k\) 個正的特征值.
?
??證明： 上面的定理確保 \(\lambda_{n-k+1}(A) \geqslant 0\)（\(\lambda_{n-k+1}(A) >0\)）, 以及 \(\lambda_n(A) \geqslant \cdots \geqslant \lambda_{n-k+1}(A)\).
?
應該知道什麽
- Hermite 矩陣特征值的最值可以用該矩陣的 Rayleigh 商刻畫
- Courant-Fischer 極小極大定理表明 Hermite 矩陣的特征值可與相應的子空間聯系起來
變分特征以及子空間的交