以Ax=b為例，x為m維向量，b為n維向量，m、n可以是相等，對於上面的理解：將x向量通過一系列的線性變換到b向量。“一系列的線性變換”就是通過左乘矩陣A來完成。

---

這樣的線性變換的作用可以包括：旋轉、縮放和投影。這三種類型效應。

例如：

$$\begin{gather*} \begin{bmatrix} 3 &0 \\ 0 & 1 \end{bmatrix}\quad\begin{bmatrix} x \\ y \end{bmatrix}=\begin{bmatrix} 3x \\ y \end{bmatrix} \end{gather*}$$
其幾何意義為在水平x的方向上拉伸3倍，y方向保持不變，這就是縮放。
假如前面乘的不是一個對稱矩陣，那麼對應的幾何意義就是縮放加旋轉。
假如x向量是2x2的矩陣，通過左乘1x2的矩陣A，就可以將x投影成1x2的矩陣。

---

奇異值分解就是對應著三種效應的一種析構。它將矩陣A（就是那一系列線性變化）進行分解。$A=\mu\sum\sigma$,其中$\mu$和$\sigma$是兩組正交單位向量，$\sum$是對角陣，對角值表示奇異值，它表示我們找到了$\mu$和$\sigma$這兩組基。A矩陣的作用就是將一個向量從$\sigma$這組正交基向量的空間旋轉到$\mu$這組正交基向量，並對每個方向進行了一定的縮放，縮放比例就是各個奇異值。
$Ax=\mu\sum\sigma x=b$,就是先將x旋轉到$\sigma$的空間，然後根據對角陣$\sum$進行各個方向進行放縮，然後再旋轉到$\mu$的空間。
如果$\mu$的維度比$\mu$大，則表示還進行可投影。奇異值分解就是將一個矩陣原本混合在一起的三種作用效果分解出來，

---

特徵值分解是對旋轉縮放兩種效應的歸併。（這裡沒有投影效應，因為有投影的矩陣一定不是方陣，不是方陣就沒有特徵值）。特徵向量由$Ax=\lambda x$得到，它表示如果一個向量x處於A的特徵向量方向，那麼$Ax$對x的線性變換隻是一個縮放。
假如x向量是A的特徵向量，這表明向量x經過A的線性變換並沒有改變原向量的方向。
對於實對稱矩陣，特徵向量正交（定理：實對稱陣屬於不同特徵值的的特徵向量是正交的.），我們可以寫成$A=x\lambda x^T$,這樣就類似奇異值分解，就是先將一個向量旋轉到$x^T$空間，然後放縮$\lambda$倍，然後再旋轉到$x$空間。由於是實對稱矩陣，所以$x=x^T$。

---

總而言之，特徵值分解和奇異值分解都是給一個矩陣(線性變換)找一組特殊的基，特徵值分解找到了特徵向量這組基，在這組基下該線性變換隻有縮放效果。而奇異值分解則是找到另一組基，這組基下線性變換的旋轉、縮放、投影三種功能獨立地展示出來了