正交向量和正交空間

reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

Reference

1. Course website: Orthogonal Vectors and Subspaces | Unit II: Least Squares, Determinants and Eigenvalues | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 【完整版-麻省理工-線性代數】全34講 配套教材_嗶哩嗶哩_bilibili
3. Course summary:
   Lecture 14: Orthogonal vectors and subspaces (mit.edu)

---

Unit 1 研究維度

Unit 2 研究正交性

Unit 3 研究基

現在開始研究正交性了。

Big Picture

重新亮出這個 big picture，它還包含一層意思：A 的行空間和零空間相互正交，A 的列空間和左零空間相互正交。\(\R^n\) 和 \(\R^m\) 都被分割成了相互正交的空間。

接下來開始詳細說明，在此之前需要先解釋正交的概念。

Orthogonal Vectors

向量的正交即為垂直，也就是：

\[\boldsymbol{x}\cdot\boldsymbol{y}=0 \]

對向量的內積可以表示成一個行向量矩陣乘一個列向量，而且內積可以相互交換順序，也就是：

\[\boldsymbol{x}\cdot\boldsymbol{y}=\boldsymbol{x}^\mathrm{T}\boldsymbol{y}=\boldsymbol{y}^\mathrm{T}\boldsymbol{x}=\boldsymbol{y}\cdot\boldsymbol{x} \]

勾股定理可以表示為：

\[{\left \| \boldsymbol{x} \right \|}^{2}+{\left \| \boldsymbol{y} \right \|}^{2}={\left \| \boldsymbol{x}+\boldsymbol{y} \right \|}^{2} \]

和向量正交之間可以相互推導，因為：

\[\begin{matrix} &\left \| \boldsymbol{x} \right \|^{2}+\left \| \boldsymbol{y} \right \|^{2}=\left \| \boldsymbol{x}+\boldsymbol{y} \right \|^{2}\\\Leftrightarrow &\boldsymbol{x}^{\mathrm{T}}\boldsymbol{x}+\boldsymbol{y}^{\mathrm{T}}\boldsymbol{y}=(\boldsymbol{x}+\boldsymbol{y})^{\mathrm{T}}(\boldsymbol{x}+\boldsymbol{y}) \\\Leftrightarrow &\boldsymbol{x}^{\mathrm{T}}\boldsymbol{x}+\boldsymbol{y}^{\mathrm{T}}\boldsymbol{y}=(\boldsymbol{x}^{\mathrm{T}}+\boldsymbol{y}^{\mathrm{T}})(\boldsymbol{x}+\boldsymbol{y}) \\\Leftrightarrow &\boldsymbol{x}^{\mathrm{T}}\boldsymbol{y}+\boldsymbol{y}^{\mathrm{T}}\boldsymbol{x}=0 \\\Leftrightarrow &2\boldsymbol{x}^{\mathrm{T}}\boldsymbol{y}=0 \\\Leftrightarrow &\boldsymbol{x}^{\mathrm{T}}\boldsymbol{y}=0 \\\Leftrightarrow &\boldsymbol{x}\cdot\boldsymbol{y}=0 \end{matrix} \]

Orthogonal Subspaces

若子空間 \(S\) 與 \(T\) 正交 (Orthogonal)，則有：

\[\forall \boldsymbol{x}\forall \boldsymbol{y}(\boldsymbol{x}\in S,\boldsymbol{y}\in T,\boldsymbol{x}^{\boldsymbol{\mathrm{T}}}\boldsymbol{y}=0\rightarrow S\perp T) \]

注意平面垂直和平面代表的子空間正交完全不是一個概念：兩個垂直的平面不是正交的。

平面垂直只和法線有關，而且維度必須一樣（二維），但是空間正交不一定同緯度（三維空間過原點的平面和過原點的平面法線是正交的，兩個過原點相互垂直的線也是正交的，原點和任何子空間都是正交的）。

C(A^T) ⊥ N(A)

下面便開始簡單證明了。

Sloppy Proof

首先是行空間正交於零空間：

這是因為 Ax=0 本身意味著 A 的所有行向量和向量 x 的內積都是 0. 因此 x 和 A 的行向量的任意線性組合得到的向量內積也是 0. 因此 x 和 A 的行空間內任意向量正交。而 x 是 A 的零空間的任意向量，因此行空間正交於零空間。

同理列空間正交於左零空間，只需要代入 A:=A^T 即可。

Orthogonal Complements

行空間不僅正交於零空間，而且他們的維度相加等於 n，也就是整個空間。

在 \(\R^3\) 中，可以出現兩個子空間的維度相加不等於整個空間的維度。比如兩個過原點垂直的直線相互正交，維度和卻為 2。

但是行空間和零空間的維度和卻是整個空間！而且他們是相互正交的，因此：

• \(\boldsymbol{C}(\boldsymbol{A}^\mathrm{T})\) 和 \(\boldsymbol{N}(\boldsymbol{A})\) 互為 (\(\R^n\) 的) 正交補 (Orthogonal Complements)，同理：

• \(\boldsymbol{C}(\boldsymbol{A})\) 和 \(\boldsymbol{N}(\boldsymbol{A}^\mathrm{T})\) 互為 (\(\R^n\) 的) 正交補。

"Solve" Ax=b when there's no solution

我們不可避免需要解一些無解的線性方程，通常方程數量大於未知數的數量，即 \(m>n\)。

比如假設“房價” \(y\) 為“距離市中心距離” \(a_1\)，“大小” \(a_2\)，“年份” \(a_3\)，“樓層數” \(a_4\) 的線性函式，我們想要建模知道權重係數是多少，即給定 \(a_i\) 去求解 \(y=x_1a_1+x_2a_2+x_3a_3+x_4a_4\) 的係數 \(x_i\)。

理論上只需要知道 4 組 \({a_i}\) 和 4 組 \(y\) 就能唯一求出 \({x_i}\) 了，但實際總會存在各種誤差導致測量的資料並不能嚴格滿足理論的函式，因此就會測量很多組資料，出現 \(m>n\)，導致無解。所以怎麼辦呢？

• 扔掉資料點？不行啊，每個資料點可能都有誤差，你在不知道理論模型是什麼的情況下怎麼知道要扔掉哪個資料點呢？相反初高中的學習早就讓我們知道多次測量才能減小誤差，單次實驗具有偶然性。
• 管他可不可解直接消元法？也不行，消元法僅能用於可解的線性方程。

真正的做法是把 \(\boldsymbol{Ax}=\boldsymbol{b}\) 變成 \(\boldsymbol{A}^{\mathrm{T}}\boldsymbol{A}\hat{\boldsymbol{x}}=\boldsymbol{A}^{\mathrm{T}}\boldsymbol{b}\)。這時獲得一個重要的矩陣：\(\boldsymbol{A}^{\mathrm{T}}\boldsymbol{A}\)，它是方陣而且是對稱的，下一節會詳細說明。

\(\boldsymbol{A}^{\mathrm{T}}\boldsymbol{A}\) 和 \(\boldsymbol{A}\) 有著密不可分的關係，直接給出兩個結論：

\[\boldsymbol{N}(\boldsymbol{A}^{\boldsymbol{\mathrm{T}}}\boldsymbol{A})=\boldsymbol{N}(\boldsymbol{A})\\ \text{rank}(\boldsymbol{A}^{\boldsymbol{\mathrm{T}}}\boldsymbol{A})=\text{rank}(\boldsymbol{A}) \]

此方陣何時可逆？大小 n by n，所以秩必須是 n 才可逆，所以 A 的秩必須也是 n，也就是說 A 列滿秩，列向量線性無關。