原文連結:奇異值分解(SVD)的計算方法

奇異值分解是線性代數中一種重要的矩陣分解方法，這篇文章通過一個具體的例子來說明如何對一個矩陣A進行奇異值分解。

首先，對於一個m*n的矩陣，如果存在正交矩陣U(m*m階)和V(n*n階)，使得(1)式成立：
\[A=U \Sigma V^T \tag{1}\]

則將式(1)的過程稱為奇異值分解，其中\(\Sigma_{mn}=\begin{bmatrix}\Sigma_1 & 0 \\ 0 & 0\end{bmatrix}\)，且
\(\Sigma_1=diag(\sigma_1,\sigma_1,\dots,\sigma_r)\)

假設我們有一個矩陣\(A=\begin{bmatrix} 1&1\\1&1\\0&0\end{bmatrix}\)

第一步計算U

計算矩陣\(AA^T=\begin{bmatrix} 2&2&0\\2&2&0\\0&0&0\end{bmatrix}\)

對其進行特徵分解，分別得到特徵值4,0,0和對應的特徵向量\([\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0]^T,[-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}},0]^T,[0,0,1]^T\)

第二步計算V

計算矩陣\(A^TA=\begin{bmatrix} 2&2 \\ 2&2 \end{bmatrix}\)

對其進行特徵分解，分別得到特徵值4,0和對應的特徵向量\([\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}]^T,[-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}}]^T\)

第三步計算\(\Sigma^{m×n}\)

\(\Sigma_{mn}=\begin{bmatrix}\Sigma_1 & 0 \\ 0 & 0\end{bmatrix}\),其中\(\Sigma_1=diag(\sigma_1,\sigma_1,\dots,\sigma_r)\)是將第一或第二步求出的非零特徵值從大到小排列後開根號的值，這裡\(\Sigma=\begin{bmatrix} 2&0 \\ 0&0 \\ 0&0 \end{bmatrix}\)

最終，我們可以得到A的奇異值分解
\[A=U \Sigma V^T= \begin{bmatrix} \frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0 \\ \frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0 \\ 0&0&1 \end{bmatrix} \begin{bmatrix} 2&0 \\ 0&0 \\ 0&0 \end{bmatrix} {\begin{bmatrix} \frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\end{bmatrix}}^T=\begin{bmatrix} 1&1\\1&1\\0&0\end{bmatrix}\]

矩陣的特徵值分解和奇異值分解有什麼區別？

首先，特徵值只能作用在一個mm的正方矩陣上，而奇異值分解則可以作用在一個mn的長方矩陣上。其次，奇異值分解同時包含了旋轉、縮放和投影三種作用，(1)式中，U和V都起到了對A旋轉的作用，而Σ起到了對A縮放的作用。特徵值分解只有縮放的效果。