[北航矩陣理論A]課程筆記

一、特徵值

1. 特徵根相關：
   設任一方陣 \(A = (a_{ij})_{n\times n} \in C^{n\times n}\)
   • 特徵多項式 \(T(\lambda)=|\lambda I- A| = \Pi(\lambda-\lambda_i)\)
   • 全體特徵根（含重複）：\(\lambda(A) = \{\lambda_1,\cdots,\lambda_n\}\)，叫做矩陣的 “譜”
   • 特徵值兩個性質：
     • \(\Sigma \lambda_i = tr(A)\) 特徵根和等於矩陣跡和
     • \(\Pi \lambda_i = det(A)\)
       特徵根積等於行列式值
     • \(P可逆，P^{-1}AP = B\)，叫做A的一個相似變換，相似變換特徵值不變
2. 分塊求特徵值：
   • 當矩陣可化為分塊上（下）三角時，求主對角線上的矩陣塊的特徵值，並求並集，保留重複
     \[A = \bigg( \begin{matrix} B & O \\ C & D \end{matrix}\bigg)\]
     \[A = \bigg( \begin{matrix} B & C \\ O & D \end{matrix}\bigg)\]
3. 特徵根觀察法：\(A = (a_{ij})_{n\times n}\)
   • 若 \(A\) 中每行和恆為常數 \(a\)，則\(\lambda_1 = a \in \lambda(A)\)，且 \(X = \bigg(\begin{matrix} 1\\...\\1\end{matrix}\bigg)\)為對應的特徵向量
   • 若 \(A\) 中每列和恆為常數 \(a\)，則...........,但\(X = \bigg(\begin{matrix} 1\\...\\1\end{matrix}\bigg)\)不一定為特徵向量
4. 平移法則：特徵向量不變
   • \(A \pm CI\)與 \(A\)有相同的特徵向量，且\((A \pm CI)X_i = (\lambda_i \pm C)X_i\)
5. 多項式法則：
   • \(f(A)\)與\(A\)的特徵向量相同，特徵值分別為\(f(\lambda),\lambda\)

二、Jordan形

1. 三角陣定理：
   • 任一方陣 \(A\)，存在可逆陣 \(P\) 使A相似於 \(D\) （上三角）
2. 接三角陣定理：
   • 可選取P使三角形簡化為雙線上三角，此時\(D\)被稱為\(A\)的\(Jordan\)形
     • 其中，重複根排在一起 ，\(* = 0/1\)；不同根之間 \(* = 0\)
       \[ \exist P,P^{-1}AP = D = \left( \begin{matrix} \lambda_1 & * & \c \]MP = PN \Rightarrow P^{-1}MP = N \Rightarrow ||\[dots&\cdots & 0\\ {matrix} B & C \\ O & D \end{matrix}\bigg)\]

3. 特徵根 \vdo |\lambda I - M| = |\lambda I -N| \Rightarrowts & \lambda_2 & * &\cdots &\vdots\
   \vdots & \vdots & \ddots &\ddots &*\
   0 & 0 & 0 & 0 & \lambda_n
   \end{matrix}
   \right)_{n\times n}
   $$

4. 若當塊定義：
   • 一階若當塊是一個數 \((a)\)
   • k階若當塊(k重根\(\lambda\))形為：
     \[ J_k(a) = \left( \begin{matrix} a & 1 & \cdots&\cdots & 0\\ \vdots & a & 1 &\cdots &\vdots\\ \vdots & \vdots & \ddots &\ddots &1\\ 0 & 0 & 0 & 0 & a \end{matrix} \right)_{k\times k} \]
5. Jordan形定理：
   • 任一 ：\(A = (a_{ij})_{n\times n} \in C^{n\times n}，\exist P\)
     • \(A\)共有\(t\)個不同的特徵根，每個特徵根分別為\(k_i\)重特徵根
     • 其中\(J_{k_i}^{(\lambda_i)}\)為若當塊
       \[ p = \left( \begin{matrix} J_{k_1}^{(\lambda_1)} & 0 & \cdots&\cdots & 0\\ \vdots & J_{k_2}^{(\lambda_2)} & 0 &\cdots &\vdots\\ \vdots & \vdots & \ddots &\ddots & 0 \\ 0 & 0 & 0 & 0 & J_{k_t}^{(\lambda_t)} \end{matrix} \right)_{n\times n} \]

三、一些基礎

1. 共軛轉置：
   • \(A^H = \overline{A}^T\)
   • 一些性質：
     • \(\overline{AB} = \bar A \bar B\)
     • \((AB)^H = B^HA^H\)
     • \((ABC)^H = C^HB^HA^H\)
     • \((A+B)^H = A^H + B^H\)
     • \((kA)^H = \bar k A^H\)
   • 幾個公式：
     • \(r(A^HA) = r(A) = r(AA^H)\)
     • \(AX = 0,A^HAX = 0\) 有相同解：\(X^H(A^HAX) = 0 \Rightarrow |AX|^2 = 0\)，所以這兩個方程解空間維數相同，所以上一行三個矩陣的秩相同
2. 向量模長：
   • 模公式：\(|X|^2 = X^HX = \Sigma \bar x_i x_i = \Sigma |x_i|^2\)
   • 一些性質：
     • \(|kX| = |k||X|\)
   • 一些公式：
     • \(\frac{X}{|X|}\)為\(\vec X\)方向的單位向量
     • \(tr(X^HX) = tr(XX^H) = |X|^2\)
     • \(A = (a_{ij})_{n\times n} \in C^{n\times n},tr(A^HA) = tr(AA^H) = \sum \sum |a_{ij}|^2\)
       • 若 \(tr(AA^H) = 0或tr(A^HA) = 0,則A = 0\)
       • 若 \(AA^H = 0或A^HA = 0,則A = 0\)
3. \(C^{n\times n}\)內積：
   • 定義\((X|Y) = Y^HX\)，\(X\)，\(Y\)為列向量
   • 內積公理
     • \(X \neq 0,(X|X)>0\)
     • \(\overline{(Y|X)} = (X|Y)\)
     • \((kX|Y) = k(X|Y),(X|kY) = \bar k(X|Y)\)
     • \((X+Y|Z) = (X|Z) + (Y|Z),(X|Y+Z) = (X|Y) + (X|Z)\)
4. 正交：
   • 正交則內積為0
   • 正交組一定是線性無關組
   • 菱形對角線在實空間內正交
5. 酉陣
   • 定義：
     • \(A = A_{n\times p}\)中各列相互正交，稱\(A\)為預備半酉陣
     • \(B = B_{n\times p}\)中各列相互正交且都為單位向量，即 \(B^HB = I_P\),稱\(B\)為半酉陣
     • 方陣\(C\)中各列相互正交且都為單位向量，即 \(C^HC = I_P\),稱\(C\)為半酉陣
   • 常用酉陣等價條件：
     • \(A^HA = I_n \Leftrightarrow A^{-1} = A^H\)
     • \(A^HA = AA^H = I\)
   • 性質：
     • 保內積：\((AX,AY) = (X,Y)\)
     • 保長：\(|AX|^2 = |X|^2\)
     • 保正交：\(X_1 \perp X_2 \perp\cdots\perp X_n \Rightarrow AX_1 \perp AX_2 \perp\cdots\perp AX_n\)
6. 鏡面陣
   \[A = I - \frac{2XX^H}{|X|^2}\]
   • 性質：
     • \(A^H = A\)
     • \(A^2 = I\)
     • \(A\)為酉陣，\(A^{-1} = A^H\)
     • \(AX = -X\)
     • \(if X \perp Y,AY = Y\)
     • \(\lambda(A) = {-1,1,\cdots,1},det(A) = -1\)
   • 結論：
     • \((\alpha,\beta)\)為實數，兩向量不相等，則存在鏡面陣使得 \(A\alpha = \beta\)且
       \[A = I - \frac{2(\alpha-\beta)(\alpha-\beta)^H}{(\alpha-\beta)^2}\]
     • 證明：由鏡面公式，取\(X = \alpha - \beta\)，使用性質4、5
   • 引理(構造鏡面陣)
     • \(C^{n}\)中任一 \(\alpha = (\alpha_1,\cdots,\alpha_n)^T \neq \vec 0\)，令\(\beta = (\lambda|\alpha|,0,\cdots,0)^T\)
       \[\lambda = \begin{cases} \frac{\alpha_1}{|\alpha_1|}& \alpha_1 = 0\\ 1& \alpha_1 \neq 0 \end{cases}\]
       則存在鏡面陣 \(A\) 使得 \(A\alpha = \beta\)
7. Hermite陣
   \[A^H = A,A\in C^{n\times n}\]
   斜Hermite：\(A^H = -A\)，則\(\frac{A}{i},Ai\)為Hermite
   • 一些性質：
     • 若A為Hermite，則存在酉陣Q使得\(Q^{-1}AQ = D\)為正線上三角，且主對角線元素均為實數
     • \(f(X) = X^HAX\)只取實數
     • \(\lambda_1 = \frac{X^HAX}{|X|^2}\)，其中X為非零特徵向量
     • \(A = A^H,A \ge 0 \Leftrightarrow \lambda_i \ge 0\)
     • \(A = A^H,A > 0 \Leftrightarrow \lambda_i > 0\)
       • \(\Rightarrow : X^HAX > 0,\lambda_i = \frac{X^HAX}{|X|^2}>0\)
       • \(\Leftarrow : A = A^H \Rightarrow Q^HAQ = D\)，D的主對角線為特徵值，\(Y^H(Q^HAQ)Y = Y^HDY = \sum\lambda_i|y_i|^2>0\)，記\((QY)^HA(QY)>0,X = QY\)
     • 若\(A\ge0 \Rightarrow \exists B B^2 =A,B \ge 0,\)
       • \(A = A^H \Rightarrow Q^HAQ = D,Q\)為酉陣，D的主對角線為特徵值，且均大於等於0，令\(B = Q\sqrt{D}Q^H\)，易得B為Hermite，且B相似於\(\sqrt{D}\)，B為半正定
     • 任一\(A = A_{m\times n},A^HA,AA^H \ge 0\)，且都是Hermite
     • 任一方陣\(A = A_{n\times n},A + A^H\)是Hermite
   • 定理：
     • 若\(A = A^H \in C^{n\times n}\)，則A恰有n個正交的特徵向量$
       • \(A = A^H \Rightarrow Q^HAQ = D,Q\)為酉陣，且Q每一列都是特徵向量，且正交
8. 正定性：
   • 半正定：定義：\(A = A^H \in C^{n\times n},f(X) = X^HAX \ge 0\)，記為\(A\ge 0\)

四、QR分解

1. 求法：
   \(A = A_{n\times p}\)，且\(A\)列滿秩，如何求 \(A = QR\):
   • 其中 \(Q = (\epsilon_1,...\epsilon_p)_{n\times p}\) 為半酉陣（或酉陣）
     • 對A使用施密特正交化方法：
       \[Y_1 = X_1\]
       \[Y_2 = X_2 - \frac{(X_2,Y_1)}{|Y_1|^2}Y_1\]
       \[Y_3 = X_3 - \frac{(X_3,Y_1)}{|Y_1|^2}Y_1 - \frac{(X_3,Y_2)}{|Y_2|^2}Y_2\]
       \[Y_p = X_p - \sum^{p-1}_{j = 0} \frac{(X_n,Y_i)}{|Y_i|^2}Y_i\]
     • 對 \(Y_i\) 進行單位化，得到 \(\epsilon_i\)
   • R為正線上三角，且主對角線上元素 \(b_i = |Y_i|\)
     • \(A = QR \Rightarrow Q^HA = R\)
2. 結論
   • 任一方陣\(A \in C^{n\times n}\)，存在酉陣\(Q\)與上三角陣\(R\)，使得\(A = QR\)
     • 取\(A\)第一列，利用鏡面陣引理構造鏡面陣\(P\)
     • \(PA = R,A = P^{-1}R\) 形如 \(A = QR\)

五、常見矩陣分解

1. 秩1分解：設 \(A = A_{m\times n},r(A) = rank(A) = 1\)，即\(A\)各列成比例，記 \(A = \alpha\beta,\alpha = (\alpha_1,\cdots,\alpha_m)^T,\beta = (\beta_1,\cdots,\beta_n)\)
   • 當A為方陣時，\(\lambda(A) = {tr(A),0,\cdots,0}\)，且\(A\alpha = tr(A)\alpha\)，解\(\Sigma b_ix_i = 0\)，得到另外的特徵向量
2. 滿秩分解（高低分解）：設 \(A = A_{m\times n},r(A) = rank(A) = P(P \ge 1)\Rightarrow A = BC\)，其中\(B = B_{m\times p}\)，為列滿秩\(r(B) = P\) （B叫高陣）；\(C = C_{p\times n}\)，為行滿紙\(r(C) = P\) （C叫低陣）
   • 解法：行變法，將A轉化為形如D的矩陣，取\(\boldsymbol{D}\)的前\(P\)行為\(C\)，取\(\boldsymbol{A}\)中前\(P\)列為\(B\)：
     \[D = \left( \begin{matrix} 1 & \cdots & 0& * &\cdots & * \\ \vdots & \ddots & \vdots & * &\cdots & * \\ 0 & \cdots &1 & * &\cdots & * \\ 0 & \cdots & 0 & 0 &\cdots & 0 \\ \vdots &\vdots &\vdots &\vdots &\vdots &\vdots \\ 0 &0 &0 &0 &0 &0 & \\ \end{matrix} \right)_{m\times n}\\ \]
   • 幾個性質：
     • 高陣\(B\)有左側逆\(B_L\)：\(B_LB = I_P,B_L = (B^HB)^{-1}B^H\)
     • 低陣\(C\)有右側逆\(C_R\)：\(CC_R = I_P,C_R = C^H(CC^H)^{-1}\)
   • 用法：
     • 若 \(BCX = 0\)，B為高陣，則 \(B_LBCX = 0 \Rightarrow CX = 0\)
     • 若 \(BX = BY\)，B為高陣，則 \(B_LBX = B_LBY\)

六、換位公式

\(A = A_{n\times p},B = B_{p\times n},AB \in C^{n\times n},BA \in C^{p\times p}\)

• 則 \(|\lambda I_n - AB| = \lambda^{n-p}|\lambda I_p - BA|\)
  \[令 M = \left( \begin{matrix} AB& O\\ B&O_p\\ \end{matrix} \right)_{n+p},N = \left( \begin{matrix} O_n& O\\ B&BA\\ \end{matrix} \right)_{n+p},P = \left( \begin{matrix} I_n& A\\ O&I_p\\ \end{matrix} \right)\]
  \[MP = \left( \begin{matrix} AB& ABA\\ B&BA\\ \end{matrix} \right) = PN,且P^{-1} = \left( \begin{matrix} I_n& -A\\ O&I_p\\ \end{matrix} \right)\]
  \[MP = PN \Rightarrow P^{-1}MP = N \Rightarrow |\lambda I - M| = |\lambda I -N| \Rightarrow |\lambda I_n - AB| = \lambda^{n-p}|\lambda I_p - BA|\]
  
• \(AB\)與\(BA\) 只差 \(n-p\) 個 \(0\) 根
• \(tr(AB) = tr(BA) = \sum {\lambda_i}\)

七、奇異值分解

正奇值：設 \(A = A_{m\times n}, r(A) = P > 0\) ，則 \(A^HA\) 與 \(AA^H\) 恰有\(P\)個正特徵根，稱\(\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\)為\(A\)的正奇異值，記為\(S^+ (A) = \{\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\}\)

簡奇異值分解：任意 \(A = A_{m \times n},r(A) = r >0\)，則有分解 \(A = P\Delta Q^H\)，其中 \(\Delta\) 為正線上三角，主對角線上依次為\(\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\)，且\(P = P_{m\times r},Q = Q_{n\times r}\)都是半酉陣：\(P^HP = Q^HQ = I_r\)

• 已知簡奇異值分解 \(A = P\Delta Q^H,則A^H = Q\Delta P^H為A^H\)的簡化奇異值分解
• 令\(P = (Y_1,\cdots,Y_r),Q = (X_1,\cdots,X_r)\)，可寫\(A = \sum \sqrt{\lambda_i}Y_iX_i^H\)

解法：求\(A^HA\)的正特徵值，與對應的特徵向量，令\(Q = (\frac{X_1}{|X_1|},\cdots,\frac{X_p}{|X_p|}),P = (\frac{AX_1}{|AX_1|},\cdots,\frac{AX_p}{|AX_p|})\)

奇異值分解：將簡奇異值分解的\(P,Q\)擴充為酉陣，並將\(\Delta\)擴充為與A同型

八、單純陣

\(A = A_{n\times n}\)為單陣\(\Leftrightarrow A \sim D,D\)為正線上三角，對角線上為特徵值 \(\Leftrightarrow P^{-1}AP = D\)，也叫做可對角化

• \(A = A_{n\times n}\)為單陣\(\Leftrightarrow A\) 有 \(n\) 個線性無關的特徵向量
• \(A = A_{n\times n}\)為單陣\(\Leftrightarrow\) 每個 \(k\) 重根，恰有\(k\)個線性無關的特徵向量
• 若\(n\)階方陣\(A\)有n個互異根，則\(A\)為單陣
• 若每個 \(k>1\) 重根，恰有 \(k\) 個特徵向量，則 \(A\) 為單陣
• \(A = A_{n\times n}\)恰有\(k\)個互異根，且\(\Pi (A-\lambda_i) = 0\)，則\(A\)為單陣，反之亦然
• 任意一個\(k>1\)重根\(\lambda_i \in \lambda(A)\)
  • 若 \(r(A-\lambda_i I) = n-k\)，則\(A\)為單陣，反之亦然

補充定義：若方陣\(A\)與多項式\(f(x)\)，\(f(A) = 0\)，則稱\(f(x)\)為\(A\)的一個0化式，\(A\)叫做\(f(x)\)的一個矩陣根

• 可求出矩陣\(A\)次數最低的0化式，叫做\(A\)的極小式\(m_A(x)\)

Cayley定理：方陣\(A\)的特徵多項式\(T(x) = |xI-A|\)，使得\(T(A) = 0\)

• 若\(f(x)\)無重根且為\(A\)的0化式，則\(A\)為單陣

單陣譜分解公式：