reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

矩陣乘法（補充）和矩陣的逆

reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

Reference

1. Course website: Multiplication and Inverse Matrices | Unit I: Ax = b and the Four Subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 麻省理工公開課：線性代數-乘法和逆矩陣-網易公開課 (163.com)
3. Course summary: Multiplication and Inverse Matrices (mit.edu)
4. Extra reading: Section 2.4, 2.5 in Introduction to Linear Algebra, Fifth Edition by Gilbert Strang.
5. Extra videos (3Blue1Brown):
   1. Nonsquare matrices as transformations between dimensions | Chapter 8, Essence of linear algebra - YouTube

---

上兩講直接起飛到了線性變換，但我發現提前開始瞭解這個概念之後對之後的intuition有幫助。這一講回頭補充一下1.1的[Matrix Multiplication](./1.1 The Geometry of Linear Equations.md#Matrix Multiplication)，以及正式介紹耳熟能詳的矩陣逆的求法：Gauss-Jordan Elimination

，此外我對非方陣矩陣乘法的intuition有些疑惑因此補充了一點內容，整理1.5的時候直接把1.5的矩陣乘法逆也挪過來了，安排上有點亂。

Matrix Multiplication

目前我們學過的有：

Standard：

i行與j列的內積得到新矩陣i行j列的元素，因此前一個矩陣的列個數一定要等於後一個矩陣的行個數，而且m行n列乘n行p列會得到m行p列。

Column：

矩陣乘列向量相當於對矩陣的列向量進行線性組合。

\[\begin{bmatrix} 2 & -1\\ -1 & 2 \end{bmatrix} \begin{bmatrix} 1\\ 2 \end{bmatrix} = 1 \begin{bmatrix} 2\\ -1 \end{bmatrix} +2 \begin{bmatrix} -1\\ 2 \end{bmatrix} = \begin{bmatrix} 2\\ -1 \end{bmatrix} + \begin{bmatrix} -2\\ 4 \end{bmatrix} = \begin{bmatrix} 0\\ 3 \end{bmatrix} \]

但是還有些角度：

Row：

行向量乘矩陣相當於對矩陣的行向量線性組合。（之前一直把向量看作列向量，現在我開始分為行向量和列向量了）

\[\begin{bmatrix} 1 & 2 \end{bmatrix} \begin{bmatrix} 2 & -1\\ -1 & 2 \end{bmatrix} = 1 \begin{bmatrix} 2 & -1 \end{bmatrix} +2 \begin{bmatrix} -1 & 2 \end{bmatrix} = \begin{bmatrix} 2 & -1 \end{bmatrix} + \begin{bmatrix} -2 & 4 \end{bmatrix} = \begin{bmatrix} 0 & 3 \end{bmatrix} \]

Blocks：

矩陣可以分塊乘法，懶得寫了，因為我會。

Inverse

Definition

上一講我們知道了如果再來一個線性變換讓原來的方陣變成單位陣，那這個方陣就是方矩陣的逆。也就是說如果\({\mathbf{M}}'\mathbf{M}=\mathbf{I}\)，則\({\mathbf{M}}'=\mathbf{M}^{-1}\)，這個是左逆，還有右逆\(\mathbf{M}{\mathbf{M}}''=\mathbf{I}。有\)的運算左逆不等於右逆，但是矩陣乘法是等於的，也就是說\({\mathbf{M}}''=\mathbf{M}^{-1}={\mathbf{M}}'\)：如果方陣可逆，那麼左逆等於右逆。（這個是需要證明的，姑且當作已知條件~）

Linear Transformation

如果方陣可逆，相當於有一個抵消原有的線性變換的逆線性變換操作，把對映後的點再映射回去，因此線性變換前後的點是一對一的對映。多對一的對映（降維）無法產生逆線性變換（逆矩陣）。

Inverse of Matrix Multiplication

\[(\mathbf{AB})^{-1}=\mathbf{B}^{-1}\mathbf{A}^{-1} \]

Judgment

怎麼判斷方陣可不可逆？這裡給出了齊次線性方程組\(\mathbf{Ax}=\mathbf{0}\)的判斷方法。

如果\(\mathbf{A}\)可逆，那方程兩邊就可以左乘\(\mathbf{A}^{-1}\)，然後就得到\(\mathbf{x}=\mathbf{0}\)了。

如果\(\mathbf{A}\)不可逆，那說明列向量\(\mathbf{c}_i\)線性相關了，2向量至少共線/3向量至少共面/...，反正肯定有列向量浪費了，可以被其他的列向量線性組合出來，比如\(\mathbf{c}_3=x_1\mathbf{c}_1+x_2\mathbf{c}_2\)，那麼\(x_1\mathbf{c}_1+x_2\mathbf{c}_2-\mathbf{c}_3=\mathbf{0}\Rightarrow\begin{bmatrix}\mathbf{c}_1 & \mathbf{c}_2 & \mathbf{c}_3\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\mathbf{0}\)然後就得到\(\mathbf{x}\ne\mathbf{0}\)了。所以齊次線性方程組如果沒有出現非零解，方陣就不可逆了。

Calculation

怎麼求呢？其實就是解多個線性方程組：矩陣乘以矩陣的逆的第 \(j\) 列等於單位矩陣 \(\mathbf{I}\) 的第 \(j\) 列。

於是就可以用消元法了：列出\(\mathbf{A}\mathbf{A}^{-1}=\mathbf{I}\) → 寫出增廣矩陣\(\begin{bmatrix}\mathbf{A} & \vdots\mathbf{I}\end{bmatrix}\)

但是接下來不化成上三角了，初等行變換直接化為對角陣和\(\begin{bmatrix}\mathbf{I} & \vdots\mathbf{A}^{-1}\end{bmatrix}\) → 最右邊的矩陣等於逆。也就是我們最熟悉的方法了。這方法叫Gauss-Jordan Elimination。

這方法能成的原因就是因為初等行變換相當於初等矩陣左乘~

Nonsquare Matrices as Transformations between Dimensions

前面都是在討論方陣乘向量，方陣乘方陣的線性變換問題，那麼非方陣的矩陣乘法怎麼理解呢？

比如一個三行兩列的矩陣\(\mathbf{A}=\begin{bmatrix}3 & 1\\4 & 1\\5 & 9\end{bmatrix}\)，只能左乘到一個二維的向量上面，最上面提到了矩陣乘法的size規律，按照這個規律，會得到一個三維的向量，那麼這個線性變換其實是把一個二維向量變成了三維的，基從單位向量\(\mathbf{i}=(1,0)\)和\(\mathbf{j}=(0,1)\)變成了兩個三維的列向量。就像這樣：

注意，維度的變換其實略微抽象，從二維空間變換到三維空間並不等同於從三維空間的一個平面變換到三維空間，空間的座標軸/基的數量會變化。我們是將二維空間的\(\mathbf{i}=(1,0)\)和\(\mathbf{j}=(0,1)\)對映到了三維空間的矩陣的兩個列向量，而不是將三維空間的\(\mathbf{i}=(1,0,0)\)和\(\mathbf{j}=(0,1,0)\)對映過去。

有升維就有降維，兩行三列的矩陣會把一個三維的向量線性變換到一個二維向量，因此就降維了。

而矩陣乘法就可以看作線性變換的組合，只不過這次多了維度變換。

總結：非方陣的矩陣乘法是帶有維度變換的線性變換。