reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

四個基本子空間

reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

Reference

1. Course website: The Four Fundamental Subspaces | Unit I: Ax = b and the Four Subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 【完整版-麻省理工-線性代數】全34講 配套教材_嗶哩嗶哩_bilibili
3. Course summary: Lecture 10: The four fundamental subspaces (mit.edu)
4. Extra reading: Section 3.5 in Introduction to Linear Algebra, Fifth Edition by Gilbert Strang.

---

為什麼 \((1,1,2)\)，\((2,2,5)\)，\((3,3,8)\) 也是線性相關的？

湊成方陣 \(\begin{bmatrix} 1 & 2 & 3\\ 1 & 2 & 3\\ 2 & 5 & 8 \end{bmatrix}\) 發現前兩行是一樣的，reduced echelon form 至少消去一行。所以行向量線性相關，列向量也線性相關。

列怎麼樣和行怎麼樣有一些關係，這個在今天的討論範圍內。

Four Fundamental Subspaces

對於一個矩陣 \(\boldsymbol{A}_{m\times n}\)，有如下四個基本子空間：

**Column Space **（列空間）：\(\boldsymbol{C}(\boldsymbol{A})\in\R^{m}\)

**Null Space **（零空間）：\(\boldsymbol{N}(\boldsymbol{A})\in\R^{n}\)

Row Space （行空間）：\(\boldsymbol{C}(\boldsymbol{A}^\mathrm{T})\in\R^{n}\)

（行向量線性組合的空間，也就是A轉置的列空間）

Left Null Space（左零空間）：\(\boldsymbol{N}(\boldsymbol{A}^\mathrm{T})\in\R^{m}\)（先不說為什麼叫“左”零，是A^Ty=0的解空間）

Basis, Dimension, and Big Picture

這是 Unit 1 的 big picture。

• 為什麼行空間和列空間的維度是一樣的？
• 為什麼左零空間的維度是 \(m-r\)？
• \(\dim \boldsymbol{C}(\boldsymbol{A}^\mathrm{T}) +\dim \boldsymbol{N}(\boldsymbol{A})=n\)，\(\dim \boldsymbol{C}(\boldsymbol{A}) +\dim \boldsymbol{N}(\boldsymbol{A}^\mathrm{T})=m\)，為什麼是這麼組合？

第三個問題可以回答，因為行空間和零空間都屬於 \(\R^n\)，另外兩個屬於 \(\R^m\)，因此這麼組合。行空間和零空間構成 \(\R^n\)，列空間和左零空間構成 \(\R^m\)。

Column Space

\(r\) 個主元構成的列形成了列空間的基，\(\dim \boldsymbol{C}(\boldsymbol{A})=r\)。

Null Space

\(n-r\) 個 special solutions 形成了零空間的基，\(\dim \boldsymbol{N}(\boldsymbol{A})=n-r\)

Row Space

通過 row operation 可以得到 Reduced Echelon Form。

\(\boldsymbol{A}= \begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \\ \end{bmatrix} \underrightarrow{\text{Reduced Echelon Form}} \begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ \end{bmatrix}=\boldsymbol{R} \\\)

左邊，\(\boldsymbol{C}(\boldsymbol{A})\) 可以表示出第三個分量非零的向量。但是右邊，\(\boldsymbol{C}(\boldsymbol{R})\) 無論怎麼表示第三個分量永遠是零。因此有 \(\boldsymbol{C}(\boldsymbol{A})\ne\boldsymbol{C}(\boldsymbol{R})\)。

但是 row operation 本質上是對行向量的線性組合，左邊的行向量經過線性組合能表示出右邊的行向量，因此兩邊行向量線性組合出的空間是一樣的，因此必然有：\(\boldsymbol{C}(\boldsymbol{A}^\mathrm{T})=\boldsymbol{C}(\boldsymbol{R}^\mathrm{T})\)。

而零向量必不可能在基裡面，因為零向量和任何向量線性相關。而 \(r\) 個主元所在行也是線性無關的，因為行向量前 \(r\) 個元素是單位向量，非零的線性組合不可能把這些元素組成零。因此：

\(r\) 個 Reduced Echelon Form矩陣R的非零行構成行空間的基，\(\dim \boldsymbol{C}(\boldsymbol{A}^\mathrm{T})=r\)

列空間的維度等價於矩陣的秩，因此矩陣和矩陣轉置的秩也是一樣的。

Left Null Space

為什麼叫做“左”零空間呢？因為有 \(\boldsymbol{A}^\mathrm{T}\boldsymbol{y}=\boldsymbol{0}\Rightarrow \boldsymbol{y}^\mathrm{T}\boldsymbol{A}=\boldsymbol{0}^\mathrm{T}\)。未知量在左邊，零向量躺著，故叫做左零空間。

把 \(\boldsymbol{A}^\mathrm{T}\) 看作 \(\boldsymbol{A}'\)，大小為 \(n\times m\)。因此其零空間的維度為 \(m-r\)（轉置的秩等於原來的秩）。

但是基是什麼呢？再次觀察 Reduced Echelon Form：

我們知道 \((\boldsymbol{P})\boldsymbol{E}\boldsymbol{A}=\boldsymbol{R}\)（講義裡面很仔細地解釋了）

仍然用 Row Space 的例子：

\(\boldsymbol{E}\boldsymbol{A}= \boldsymbol{E}\cdot\begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \\ \end{bmatrix}=\begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ \end{bmatrix}=\boldsymbol{R} \\\)

\(R\) 的最後一行全是零，這是因為 \(E\) 的最後一行同 \(A\) 的每一列相乘的結果都是 0。所以 \(E\) 最後一行的行向量乘以 \(A\) 得到行零向量，也就是說 \(E\) 的最後一行就是 \(\boldsymbol{y}^\mathrm{T}\)！\(E\) 代表著行變換，\(E\) 的最後一行正記錄怎樣對行向量線性組合湊出零行向量（最後一行）

對於任意的矩陣 \(A\)，\(R\) 最下面 \(m-r\) 行全是零，所以 \(E\) 最下面 \(m-r\) 行必然滿足 \(\boldsymbol{y}^\mathrm{T}\boldsymbol{A}=\boldsymbol{0}^\mathrm{T}\)。而且必然是線性無關的。因為 \(E\) 是由單位矩陣 I 的單位向量線性組合出來的，其行向量一定還可以可逆地組合回去成為單位向量，因此這些行向量的表示能力等同於單位向量的表示能力，單位向量線性無關那麼構成 \(E\) 的行向量也線性無關。因此：

得到Reduced Echelon Form的行變換矩陣E的後 \(m-r\) 行構成左零空間的基，\(\dim \boldsymbol{N}(\boldsymbol{A}^\mathrm{T})=m-r\)

New Vector Space

線性空間，向量空間的元素不一定是實數向量。也可以是所有 \(3\times 3\) 的矩陣！

只要滿足線性空間的八條規律，對線性運算封閉，就可以將其當做線性空間中的元素。因為矩陣本身也滿足線性空間的八條運算律，假設不算矩陣乘法，我們就可以將所有 \(3\times 3\) 的矩陣看做一個線性空間。它的子空間有上三角矩陣和對稱矩陣。

子空間的交仍然是子空間，上三角矩陣和對稱矩陣的交為對角矩陣，仍然為子空間。

其維度為3，一組基為：

\[\begin{bmatrix} 1 & 0 & 0\\ 0 & 0 & 0\\ 0 & 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 & 0\\ 0 & 0 & 0\\ 0 & 0 & 1 \end{bmatrix} \]

研究角度從 \(\R^n\) 變成了 \(\R^{n\times n}\)。