reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

消元法，矩陣乘法，線性變換的組合

reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

Reference

1. Course website: Elimination with Matrices | Unit I: Ax = b and the Four Subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 麻省理工公開課：線性代數-矩陣消元-網易公開課 (163.com)
3. Course summary: Elimination with Matrices (mit.edu)
4. Extra reading: Section 2.1, 2.2, 2.3 in Introduction to Linear Algebra, Fifth Edition by Gilbert Strang.
5. Extra videos (3Blue1Brown):
   1. Matrix multiplication as composition | Chapter 4, Essence of linear algebra - YouTube
   2. Three-dimensional linear transformations | Chapter 5, Essence of linear algebra - YouTube

---

Recap

• 線性方程組可以看成矩陣乘向量，是組成矩陣的（列）向量的線性組合，不過仍然可以從原來內積的角度看。
• 線性組合生成張成空間。線性相關的向量的線性組合無法張成全部向量空間，有向量是多餘的。線性無關的向量如果能張成全部向量空間就構成基。
• 方陣乘向量又可以看作對原來的向量進行一次線性變換，對映到了線性子空間上，可能會因為方陣列向量線性相關導致張成的線性子空間不能填滿全部向量空間，此時方陣是奇異的。

有個問題無法避開：線性方程組有沒有解？\(\mathbf{A}\mathbf{x}=\mathbf{b}\)有沒有解？對於線性變換後的子空間一點or向量和線性變換，是否可以得到原來的向量？這一講就從線性方程組的解的消元法

（Elimination），再到方陣與方陣的乘法，再到本質：線性變換的組合。

Elimination

好像我學完線代解線性方程組就直接按照程式：列出\(\mathbf{A}\mathbf{x}=\mathbf{b}\) → 寫出增廣矩陣\(\begin{bmatrix}\mathbf{A} & \vdots\mathbf{b}\end{bmatrix}\) → 化為對角陣和\(\begin{bmatrix}\mathbf{I} & \vdots\mathbf{A}^{-1}\mathbf{b}\end{bmatrix}\) → 最右邊的列等於解\(\mathbf{x}\)。

好像它是從高斯消元法來的，但是當時沒什麼印象了。

就是利用行變換（乘以倍數後加減，調換行的順序）操作增廣矩陣\(\begin{bmatrix}\mathbf{A} & \vdots\mathbf{b}\end{bmatrix}\)，把矩陣\(\mathbf{A}\)化為左下全0的矩陣，好像叫上三角矩陣，對角線的元素pivot point儘可能非零。如果都非0就可以回代（Back Substitution）。具體就不贅述了。

Elementary Matrices for Elimination

重新用矩陣的角度來描述消元法，比如矩陣\(\mathbf{A}\)是3行3列的，則有

\[\mathbf{A}\mathbf{x}=\mathbf{b}\Rightarrow f(\mathbf{A}\mathbf{x})=f(\mathbf{b})\Rightarrow g(f(\mathbf{A}\mathbf{x}))=g(f(\mathbf{b})) \]

其中\(f(\cdot)\)為對第一行進行行變換，\(g(\cdot)\)為對第二行行變換。

行變換是什麼，是用初等矩陣（Elementary Matrix）左乘另一個矩陣，何為初等矩陣？就是對單位陣進行行變換的矩陣。為什麼初等矩陣左乘另一個矩陣會等價於行變換，這得將矩陣乘法重新看作行向量和列向量的內積。於是重新寫成：

\[\mathbf{A}\mathbf{x}=\mathbf{b}\Rightarrow \mathbf{E}_1(\mathbf{A}\mathbf{x})=\mathbf{E}_1\mathbf{b}\Rightarrow \mathbf{E}_2(\mathbf{E}_1(\mathbf{A}\mathbf{x}))=\mathbf{E}_2(\mathbf{E}_1\mathbf{b}) \]

矩陣乘法是可以結合（Associate）的，括號可以隨便放，於是有

\[(\mathbf{E}_2\mathbf{E}_1)\mathbf{Ax}=(\mathbf{E}_2\mathbf{E}_1)\mathbf{b}\Rightarrow\mathbf{EAx}=\mathbf{Eb}\Rightarrow\mathbf{Ux}=\mathbf{Eb}=\mathbf{c} \]

消元后得到的矩陣為\(\mathbf{U}\)，如果pivot point非零，那麼就能通過解\(\mathbf{Ux}=\mathbf{c}\)反推得到\(\mathbf{Ax}=\mathbf{b}\)的解，這些箭頭都是可逆的。

Matrix Multiplication: Combination of Linear Transformation

矩陣乘法，用爛了，不可能不會。可以associate，不可交換（Commutative），以及矩陣的size問題，計算方式，單位矩陣......

矩陣乘向量相當於線性變換，那矩陣乘矩陣呢？看完3Blue1Brown明白了，是線性變換的組合。

注意：按照變換的先後順序需要不斷左乘，是從右向左的順序，就跟函式巢狀一樣。

矩陣乘矩陣的公式為什麼要背呢？矩陣\(\mathbf{B}=\begin{bmatrix} a & b\\ c & d \end{bmatrix}\)與\(\mathbf{A}=\begin{bmatrix} e & f\\ g & h \end{bmatrix}\)相乘相當於先進行線性變換A再進行線性變換B。進行線性變換A之後有\(\hat{\mathbf{i}}=(e,g)\)，\(\hat{\mathbf{j}}=(f,h)\)。進行線性變換B之後\(\hat{\hat{\mathbf{i}}}=\mathbf{B}\hat{\mathbf{i}}\)，\(\hat{\hat{\mathbf{j}}}=\mathbf{B}\hat{\mathbf{j}}\)，\(\mathbf{B}\mathbf{A}=\begin{bmatrix}\hat{\hat{\mathbf{i}}} & \hat{\hat{\mathbf{j}}}\end{bmatrix}\)。於是：

\[\begin{align*} \begin{bmatrix} a & b\\ c & d \end{bmatrix}\begin{bmatrix} e & f\\ g & h \end{bmatrix}&=\begin{bmatrix} \begin{bmatrix} a & b\\ c & d \end{bmatrix}\begin{bmatrix} e\\ g \end{bmatrix} & \begin{bmatrix} a & b\\ c & d \end{bmatrix}\begin{bmatrix} f\\ h \end{bmatrix}\\ \end{bmatrix}=\begin{bmatrix} e\begin{bmatrix} a\\ c \end{bmatrix}+g\begin{bmatrix} b\\ d \end{bmatrix} & f\begin{bmatrix} a\\ c \end{bmatrix}+h\begin{bmatrix} b\\ d \end{bmatrix}\\ \end{bmatrix}\\ &=\begin{bmatrix} ae+bg & af+bh\\ ce+dg & cf+dh \end{bmatrix} \end{align*} \]

由於是組合，所以結合的方式是隨意的，對向量先進行A變換，再B，再C，可以直接等效成進行一個D變換，也可以說先AB再C，把AB等效成E，也可以先A再BC，把BC等效成F。但是不能換順序，先C再B再A，會不一樣的。行變換也是線性變換，於是上面兩個公式可以按照這樣的組合方式去理解。

Good explanation > Symbol proof !!!

Inverses

最後引入一點點矩陣逆的概念。有沒有可能，進行了線性變換A之後，再進行一個線性變換B，結果回到最初的起點？線性變換B就是線性變換A的逆，組合之後就是單位陣。