特徵向量和對角化的幾何意義 (涉及基變換)

reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

Reference

1. Extra videos (3Blue1Brown):
   1. Change of basis | Chapter 13, Essence of linear algebra - YouTube
   2. Eigenvectors and eigenvalues | Chapter 14, Essence of linear algebra - YouTube
   3. A quick trick for computing eigenvalues | Chapter 15, Essence of linear algebra - YouTube

特徵值和特徵向量有什麼幾何性質呢? 3Blue1Brown 從線性變換的角度進行了補充.

介紹之前, 需要補充一個很重要很難懂的概念: 基變換.

Change of Basis

Same Coordinates, Different Vectors

線性變換 \(\bm{y} = A \bm{x}\) 是什麼意思呢? 其實是座標不變, 但對應的基從原來的變成了新的, 因此向量發生了改變.

比如原來的基為平面直角座標系, 新的基為逆時針旋轉 90° 的 \(\begin{bmatrix} 0 & -1 \\ 1 & 0 \\\end{bmatrix}\).原來的基對應的座標是 (1, 1)

經過變換後新的向量是 1i'+1j'. 相對於新的基, 座標仍然是 (1, 1), 但是相對於原來的基, 座標變成1.(0, 1)+1.(-1, 0)=(-1, 1). 也就是說, 相對舊的基, 向量的座標變了, 因此向量也變了, 而且逆時針旋轉 90°

Same Vectors, Different Coordinates

如果向量不變, 但是用不同的基描述, 座標會怎麼變化?

仍然用上面舉例. 旋轉後的向量在新的基下的座標和旋轉前的向量在原來的基下的座標一樣, 都是 (1, 1). 而旋轉後的向量在舊的基的向量是 (-1, 1), 因此 \(\bm{y} = A \bm{x}\) 還表示將同一個向量從新的基下的座標轉為原來的基的座標, 如圖:

那原來的基的座標變成新的基會怎麼變呢? 很簡單: \(\bm{x} = A^{-1} \bm{y}\) 便實現將同一個向量的原來基的座標轉為新的基的座標, 乘以 \(A^{-1}\) 就行了.

Transformation in Different Basis

矩陣/線性變換也是用座標表示的!

對於旋轉變換 \(A = \begin{bmatrix} 0 & -1 \\ 1 & 0 \\\end{bmatrix}\) 我們用原來的基表示 (比如說平面直角座標系). 什麼意思呢? 在原來的基下選了基向量, 並且用原來的基的座標表示.

那麼在一個新的基下, 這個線性變換怎麼表示? 我們並不能直接將 (0, 1) 和 (-1, 0) 翻譯成新的基的座標, 因為這樣只是"在原來的基選的基向量在新的基表示", 而不是"新的基選的基向量在新的基表示".

我們設 \(\bm{u}, \bm{v}\) 為變換前後新的基下的座標. \(S\) 為新的基在原來的基下的座標. 首先我們需要將新的基下的座標轉為原來的基的座標. 於是有 \(\bm{u} \rightarrow S \bm{u}\). 接著在原來的基下線性變換, 得到原來的基下新的向量的座標: \(S \bm{u} \rightarrow A S \bm{u}\). 接著將原來的基的座標在轉回新的基的座標: \(A S \bm{u} \rightarrow S^{-1} A S \bm{u}\) 得到座標 \(\bm{v}\)

因此:

這就是基變換公式.

Eigenvectors and Eigenvalues

特徵值和特徵向量的幾何意義比較直白, 最初提到過. 就是說線性變換之後仍然保持在一條線的向量就是特徵向量, 而 λ 代表 scale 的大小. 當然, 有的時候保證不了"一條線" (復特徵值), 有的時候求出多個相同的特徵值但是隻有一個獨立的特徵向量.

Diagonalization

需要先介紹一下一個矩陣/線性變換的特徵基 (Eigenbasis), 就是說基為線性變換 \(A\) 的特徵向量 \(\bm{x}_1, \cdots , \bm{x}_n\), 也就是之前表示的 \(S\). 在這個新的基下, 線性變換 \(A\) 將會表示成 \(\Lambda\), 只是會將 \(\bm{x}_1\) scale \(\lambda_1\) 倍, \(\bm{x}_2\) scale \(\lambda_2\) 倍, 因此 \(\Lambda\) 一定是對角陣, 值代表特徵值, 用圖解釋:

以自身特徵基為基的線性變換是對角陣, 很方便. 組合多次線性變換的時候, 僅僅相當於讓自身的基不斷向著各自特徵向量 \(\bm{x}_1\) 的 \(\lambda\) 倍 scale 即可, 也就是說讓對角線的元素不斷乘冪, 這正和之前從代數理解的角度一致.

接下來將會是最後一章內容了. 還會繼續講特徵值和特徵向量, 只不過關注對稱矩陣了. 之後是 SVD 分解, 正式的線性變換 (線代本質) 以及一個應用偽逆的求解.