1. 矩陣乘法

如果矩陣 \(B\) 的列為 \(b_1, b_2, b_3\)，那麼 \(EB\) 的列就是 \(Eb_1, Eb_2, Eb_3\)。

\[\boldsymbol{EB = E[b_1 \quad b_2 \quad b_3] = [Eb_1 \quad Eb_2 \quad Eb_3]}\]

\[E\space(B 的第\space j \space列) =EB \space的第 \space j \space列\]

• 置換矩陣（permutation matrix）

在消元的過程中，如果遇到了某一行主元的位置為 0，而其下面一行對應的位置不為 0，我們就可以通過行交換來繼續進行消元。

如下的矩陣 \(P_{23}\) 可以實現將向量或者矩陣的第 2 、 3 行進行交換。

\[P_{23} = \begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix}\]

\[\begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \begin{bmatrix} 1 \\ \boldsymbol 3\\\boldsymbol 5\end{bmatrix} = \begin{bmatrix} 1 \\ \boldsymbol 5\\\boldsymbol 3\end{bmatrix}\]

\[\begin{bmatrix} 1&0&0 \\ 0&0&1\\0&1&0\end{bmatrix} \begin{bmatrix} 2&4&1 \\ \boldsymbol0&\boldsymbol0&\boldsymbol3\\0&6&5 \end{bmatrix} = \begin{bmatrix} 2&4&1 \\0&6&5 \\\boldsymbol0&\boldsymbol0&\boldsymbol3\end{bmatrix}\]

置換矩陣 \(P_{ij}\)

• 增廣矩陣（augmented matrix）

在消元的過程中，方程兩邊的係數 \(A\) 和 \(b\) 都要進行同樣的變換，這樣，我們可以把 \(b\) 作為矩陣 \(A\) 的額外的一列，然後，就可以用消元矩陣 \(E\) 乘以這個增廣的矩陣一次性完成左右兩邊的變換。

\[E[A \space \boldsymbol b] = [EA \space E \boldsymbol b] \]

\[\begin{bmatrix} 1&0&0 \\ -2&1&0\\0&0&1\end{bmatrix} \begin{bmatrix} 2&4&-2&\boldsymbol 2 \\ 4&9&-3&\boldsymbol 8 \\-2&-3&7&\boldsymbol 10 \end{bmatrix} = \begin{bmatrix} 2&4&-2&\boldsymbol 2 \\ 0&1&1&\boldsymbol 4 \\-2&-3&7&\boldsymbol 10 \end{bmatrix}\]

• 矩陣乘法的四種理解

如果矩陣 \(A\) 有 \(n\) 列， \(B\) 有\(n\) 行，那麼我們可以進行矩陣乘法 \(AB\)。

假設矩陣 \(A\) 有 \(m\) 行 \(n\) 列，矩陣 \(B\) 有 \(n\) 行 \(p\) 列，那麼 \(AB\) 是 \(m\) 行 \(p\) 列的。

\[(m×n)(n×p)(m×p) \quad \begin{bmatrix} \boldsymbol{m \space 行} \\{n \space 列} \end{bmatrix} \begin{bmatrix} n \space 行 \\\boldsymbol{p \space 列} \end{bmatrix} \begin{bmatrix} \boldsymbol{m \space 行} \\\boldsymbol{p \space 列}\end{bmatrix}\]

矩陣乘法的第一種理解方式就是一個一個求取矩陣 \(AB\) 位於 \((i, j)\) 處的元素

\[(AB)_{ij} = A \space 的第 \space i \space 行與\space B \space的第\space j \space 列的內積 = \sum a_{ik}b_{kj}\]

第二種理解，矩陣 \(AB\) 的列是 \(A\) 的列的線性組合

\[{AB = A[b_1 \quad b_2 \cdots b_p] = [Ab_1 \quad Ab_2 \cdots Ab_p]}\]

第三種理解，矩陣 \(AB\) 的行是 \(B\) 的行的線性組合

\[AB = \begin{bmatrix}a_1 \\ a_2 \\ \vdots \\a_m\end{bmatrix}B = \begin{bmatrix}a_1 B \\ a_2B \\ \vdots \\a_m B\end{bmatrix}\]

第四種理解，矩陣 \(AB\) 是所有 \(A\) 的列與 \(B\) 的行的乘積的和

\[AB = [a_1 \quad a_2 \cdots a_n] \begin{bmatrix}b_1 \\ b_2 \\ \vdots \\b_n\end{bmatrix} = \sum_{i=1}^{n} a_i b_i\]

其中，一列乘以一行稱為外積（outer product），(n×1)(1×n)=(n, n)，結果為一個 n×n 的矩陣。
\[\begin{bmatrix}2&7 \\ 3&8 \\ 4&9\end{bmatrix} \begin{bmatrix}1&6 \\ 0&0\end{bmatrix} = \begin{bmatrix}2 \\ 3 \\ 4\end{bmatrix}[1 \quad 6] + \begin{bmatrix}7 \\ 8 \\ 9\end{bmatrix}[0 \quad 0] = \begin{bmatrix}2&12 \\ 3&18 \\ 4&24\end{bmatrix}\]

• 矩陣乘法的性質

結合律：\(\boldsymbol{A(BC) = (AB)C}\)
交換律：\(\boldsymbol{(A+B)C = AC+BC}\)
交換律：\(\boldsymbol{A(B+C) = AB+AC}\)

\[A^p = \underbrace{AA\cdots A}_{\text{p 個}}\]
\[A^pA^q = A^{(p+q)}\]
\[(A^p)^q = A^{pq}\]
\[A^0=I\]

• 分塊矩陣

矩陣還可以被劃分為小塊，其中每個小塊都是一個更小的矩陣。

如果對矩陣 \(A\) 的列的劃分和對矩陣 \(B\) 的行的劃分正好匹配，那麼每個塊之間就可以進行矩陣乘法。

一種特殊的劃分就是矩陣 \(A\) 的每個小塊都是 \(A\) 的一列，矩陣 \(B\) 的每個小塊都是 \(B\) 的一行，這種情況就是我們上面說的矩陣相乘的第四種理解。

同樣地，在消元的時候，我們也可以按塊對係數矩陣進行消元。

2. 矩陣的逆

假設 \(A\) 是一個方陣，如果存在一個矩陣 \(A^{-1}\)，使得

\[A^{-1}A = I \quad 並且 \quad AA^{-1} = I \]

那麼，矩陣 \(A\) 就是可逆的，\(A^{-1}\) 稱為 \(A\) 的逆矩陣。

逆矩陣的逆就是進行和原矩陣相反的操作。消元矩陣 \(E_{21}\) 的作用是第二個方程減去第一個方程的 2 倍。

\[E_{21} = \begin{bmatrix} 1&0&0 \\ -2&1&0\\0&0&1\end{bmatrix}\]

其逆矩陣 \(E_{21}^{-1}\) 的作用則是第二個方程加上第一個方程的 2 倍。

\[E_{21}^{-1} = \begin{bmatrix} 1&0&0 \\ 2&1&0\\0&0&1\end{bmatrix}\]

• 當且僅當在消元過程中產生 \(n\) 個主元的時候（允許行交換），矩陣 \(A\) 的逆才存在。

• 矩陣 \(A\) 不可能有兩個不同的逆矩陣，左逆等於右逆。假設 \(BA=I\)， \(AC=I\)，那麼一定有 \(B=C\)。
  \[ B(AC) = (BA)C \to BI = IC \to B=C\]

• 如果矩陣 \(A\) 是可逆的，那麼 \(Ax=b\) 有唯一解 \(x=A^{-1}b\)。

• 如果存在一個非零向量 \(x\) 使得 \(Ax= \boldsymbol 0\)，那麼 \(A\) 不可逆，因為沒有矩陣可以將零向量變成一個非零向量。

\[若 \space A^{-1} \space 存在，則\space x = A^{-1} \boldsymbol 0 = \boldsymbol 0\]

• 一個 2×2 的矩陣是可逆的，當且僅當 \(ad-bc\) 非零。

• 一個對角化矩陣如果其對角線上元素非零，那麼其有逆矩陣。

如果矩陣 \(A\) 和矩陣 \(B\) 都是可逆的，那麼它們的乘積 \(AB\) 也是可逆的。

\[(AB)^{-1} = B^{-1}A^{-1}\]
\[(AB)^{-1}AB = B^{-1}A^{-1}AB = B^{-1}IB = I\]

同樣地，針對三個或更多矩陣的乘積，有

\[(ABC)^{-1} = C^{-1}B^{-1}A^{-1}\]

3. 高斯－若爾當消元法（Gauss-Jordan Elimination）求矩陣的逆

我們可以通過消元法來求解矩陣 \(A\) 的逆矩陣。思路是這樣的，假設 \(A\) 是一個 3×3 的矩陣，那麼我們可以建立三個方程來分別求出 \(A^{-1}\) 的三列。

\[AA^{-1} = A[x_1 \quad x_2 \quad x_3] = [e_1 \quad e_2 \quad e_3]=\begin{bmatrix} 1&0&0 \\ 0&1&0\\0&0&1\end{bmatrix}\]

\[\begin{alignedat}{2} Ax_1 = e_1 \\ Ax_2 = e_2\\ Ax_3 = e_3 \end{alignedat}\]

而高斯－若爾當消元法則是一次性求解出這些方程，之前我們求解一個方程的時候，將 \(b\) 作為 \(A\) 的一列組成增廣矩陣，而現在我們則是把 \(e_1、e_2、e_3\) 三列一起放入 \(A\) 中形成一個增廣矩陣，然後進行消元。

到這裡，我們已經得到了一個下三角矩陣 \(U\)，高斯就會停在這裡然後用迴帶法求出方程的解，但若爾當將會繼續進行消元，直到得到簡化階梯形式（reduced echelon form）。

最後，我們將每行都除以主元得到新的主元都為 1，此時，增廣矩陣的前一半矩陣就是 \(I\)，而後一半矩陣就是 \(A^{-1}\)。

我們用分塊矩陣就可以很容易地理解高斯－若爾當消元法，消元的過程就相當於乘以了一個 \(A^{-1}\) 將 \(A\) 變成了 \(I\)，將 \(I\) 變成了 \(A^{-1}\)。

\[A^{-1}[A \quad I] = [I \quad A^{-1}]\]

獲取更多精彩，請關注「seniusen」!