機器學習之線性代數基礎一矩陣乘法、秩、特徵值、特徵向量的幾何意義

寫篇文章把自己對矩陣的理解記錄一下，有不對的地方歡迎指正。為簡單、直觀、視覺化起見，我們只以簡單的二維和三維空間為例。高維空間也是同樣的道理，只是不能視覺化，只能通過數學公式來證明。

1. 矩陣乘法

矩陣乘法來源於線性方程組的求解，為了方便起見，從二維說起。
通常，我們在提到座標第一反應就是直角座標系中的橫縱座標軸所對應的單位向量，向量 $x$ 表示成如下形式會更明顯，

[\begin{matrix} x_{1} \\ x_{2} \end{matrix}] = x_{1} [\begin{matrix} 1 \\ 0 \end{matrix}] + x_{2} [\begin{matrix} 0 \\ 1 \end{matrix}]

那麼矩陣與向量相乘會發生什麼呢，下面是一個簡單二維方陣與一個二維向量相乘，

\begin{matrix} (1) & A x = [\begin{matrix} a_{1} & b_{1} \\ a_{2} & b_{2} \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \end{matrix}] \end{matrix}

對式（1）進行簡單的變換，可以寫成另外一種形式，

\begin{matrix} (2) & A x = x_{1} [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] + x_{2} [\begin{matrix} b_{1} \\ b_{2} \end{matrix}] \end{matrix}

式（2）所表達的幾何含義，就是矩陣乘法對座標系進行了變換，變換之後的空間（不一定仍然是二維空間）由矩陣的列向量張成。
矩陣和向量相乘的意義我們理解了之後，那麼矩陣乘矩陣的意義就一目瞭然了，因為做乘數的矩陣本身只是由多個向量組成而已。

2. 矩陣的秩

在上一部分中，有提到變換之後的空間不一定仍然是二維空間，是因為矩陣的列向量有可能是線性相關的。矩陣的列向量只有在線性無關的情況下，也就是列滿秩的情況下，才能作為新座標系的基底向量。

2.1 方陣的秩

當矩陣 $A$ 的列向量線性無關的時候，其列向量就仍可以張成一個二維空間。我們可以認為是矩陣對向量進行裡旋轉和拉伸操作。
下面來看一下列向量線性相關的情況，我們假設

A = [\begin{matrix} a_{1} & 2 a_{1} \\ a_{2} & 2 a_{2} \end{matrix}]

那麼

A x = x_{1} [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] + x_{2} [\begin{matrix} 2 a_{1} \\ 2 a_{2} \end{matrix}] = (x_{1} + 2 x_{2}) [\begin{matrix} a_{1} \\ a_{2} \end{matrix}]

顯然，無論向量

x

的座標是多少，經過不滿秩矩陣（奇異矩陣）

A

變換之後的結果將被限制到

A

的列向量所在的一維空間。對於方陣來說，矩陣 $A$ 的秩小於向量 $x$ 的維度時，相乘之後，向量將會被降維

。

2.2 非方陣的秩

對於矩陣的秩有一個定理：一個 $m * n$ 的矩陣，它的秩小於等於 $m i n (m, n)$ 。既然是定理，肯定是對的咯（這不廢話嚒），其中緣由，讓我們細細道來。

機器學習之線性代數基礎一矩陣乘法、秩、特徵值、特徵向量的幾何意義

1. 矩陣乘法

2. 矩陣的秩

2.1 方陣的秩

2.2 非方陣的秩

機器學習之線性代數基礎一矩陣乘法、秩、特徵值、特徵向量的幾何意義

系統學習機器學習之線性判別式（一）

深度學習/機器學習入門基礎數學知識整理（一）：線性代數基礎，矩陣，範數等

機器學習之數學系列（一）矩陣與矩陣乘法

20171028機器學習之線性回歸過擬合問題的解決方案

Java學習之路（基礎一）

JavaScript機器學習之線性迴歸

【ML2】機器學習之線性迴歸

機器學習之線性迴歸SVR

機器學習之必備數學基礎

機器學習（線性代數）筆記

機器學習之線性迴歸（Linear Regression）

機器學習之線性迴歸原理及sklearn實現

機器學習之線性迴歸演算法(Linear Regression)(含python原始碼)

ML-64: 機器學習之線性判別分析(Linear Discriminant Analysis)降維演算法+程式碼

機器學習之線性迴歸極大似然估計法

機器學習之線性迴歸公式推導

機器學習之線性迴歸模型

線性代數基礎（矩陣、範數、正交、特徵值分解、奇異值分解、跡運算）

系統學習機器學習之線性判別式（二）

機器學習之線性代數基礎一 矩陣乘法、秩、特徵值、特徵向量的幾何意義

1. 矩陣乘法

2. 矩陣的秩

2.1 方陣的秩

2.2 非方陣的秩

機器學習之線性代數基礎一矩陣乘法、秩、特徵值、特徵向量的幾何意義