1. 程式人生 > 其它 >奇異值分解 中篇

奇異值分解 中篇

對於一個\(m{\times}n\)矩陣\(A\)\(Ax\)表示一個從\(n\)維向量到\(m\)維向量的線性變換,那麼對於\(n\)維空間中的單位球\(\Vert x \Vert =1\)上的所有向量\(x\),哪一個在變換後模長最小(大)呢

從上篇的分析可知,對於\(A^T A\)的單位特徵向量\(v_i\),有\(\Vert A v_i \Vert = \sigma_i\). 同時,由於\(A^T A\)是實對稱矩陣且形狀為\(n{\times}n\),故\(A^T A\)具有\(n\)個兩兩正交的單位特徵向量\(\{ v_1, ... , v_n \}\)(按對應特徵值的降序排列),因此任意\(n\)

維向量\(x\)均可表示為\(x=\sum\limits_{i=0}^{n}{k_i v_i}\),且\(Ax=\sum\limits_{i=0}^{n}{k_i A v_i}\)

由於\(\{ v_1, ... , v_n \}\)在經過變換後依舊兩兩正交,因此\({\Vert Ax \Vert}^2 = (Ax)^T{Ax} = \sum\limits_{i=0}^{n}{k_i^2 (Av_i)^T{Av_i}} = \sum\limits_{i=0}^{n}{k_i^2 \sigma_i^2}\)

由於\(\Vert x \Vert ^2 = \sum\limits_{i=0}^{n}{k_i^2} = 1\)

,且\(\sigma_n\)\(A\)的最小奇異值,因此當\(x=v_n\)時,\(\Vert Ax \Vert\)模長最小,同理,當\(x=v_1\)時,\(\Vert Ax \Vert\)模長最大