引言

一個\(m{\times}n\)矩陣就是一個對\(n\)維向量進行線性變換的運算元。當\(m=n\)時，一般而言會有一些向量在變換前後方向不變，這些向量就被稱為“特徵向量”。

那麼當\(m{\neq}n\)時，顯然就沒有向量在變換前後方向不變了（因為維度改變了），那麼此時是否還能找到一組向量，這組向量線上性變換前後具有值得關注的特徵呢？

答案是有的，對於一個\(m{\times}n\)矩陣，可以找到一組兩兩垂直的\(n\)維向量，它們在變換後依舊兩兩垂直（除非變換成零向量），除此之外，這些向量在長度方面的變化也有著值得關注的性質，這便是本文要講的奇異值和奇異向量。

奇異值的定義

變換中的正交性

至此，我們知道了\(A^T A\)的特徵向量\(\{v_1,...,v_n\}\)在經過線性變換\(A v_i\)後，長度的變化是\(\sqrt{\lambda_i}\)倍，且依舊兩兩垂直（零向量除外）。於是，可以得到如下所示的奇異值分解

參考文獻

《線性代數及其應用》 David C. Lay