MIT線性代數公開課學習筆記第31~35課
三十一、線性變換及對應矩陣
定義線性變換：
\[T:\mathbb{R}^n\to \mathbb{R}^m\]
表示的是n維列向量到m維列向量的映射，該映射是可以線性組合的，即：
\[T(ax+by)=aT(x)+bT(y)\]
線性變換T可以用\(m\times n\)矩陣A表示：
\[T(x)=Ax\]
考慮已知\(\mathbb{R}^n\)下的一組基\(V=(v_1,\cdots,v_n)\)，以及\(\mathbb{R}^m\)下的一組基\(W=(w_1,\cdots,w_m)\),
若已知向量\(v=c_1v_1+\cdots+c_nv_n\)，即c在基V下的坐標，則\(T(v)=c_1T(v_1)+\cdots+c_nT(v_n)\)
\[T(v_1,\cdots,v_n)=(T(v_1),\cdots,T(v_n))=(w_1,\cdots,w_m)A\]
其中，
\[T(v_i)=a_{1,i}w_1+\cdots+a_{m,i}w_m\]
對於線性變換\(T:V\to W\)，若已知向量v在基V下的坐標為向量x，即\(v=Vx\)，現在要求的是其經過線性變換\(T:V\to W\)後，在基W下的坐標\(y\)，即\(v=Wy\)，則
\[v=(v_1,\cdots,v_n)x\]
\[v=(w_1,\cdots,w_m)y\]
\[T(v)=(T(v_1),\cdots,T(v_n))x=(w_1,\cdots,w_m)Ax=(w_1,\cdots,w_m)y\]
所以\(y=Ax\)
三十二、基變換和圖像壓縮
基變換
已知\(\mathbb R^n\)下的兩組基\(A=(\alpha_1,\cdots,\alpha_n)\)，\(B=(\beta_1,\cdots,\beta_n)\)，則
\[(\beta_1,\cdots,\beta_n)=(\alpha_1,\cdots,\alpha_n)K_{AB}\]
\(K_{AB}\)是基A到基B的變換矩陣，是可逆陣
向量\(v\)在\(A\)下的坐標向量\(x\)
\[x=K_{AB}y\]
\[y=K^{-1}_{AB}x\]
圖像壓縮
傅裏葉變換實現圖像壓縮
將照片劃分為若幹\(8\times 8\)大小小塊，每塊可以視為一個64維向量\(x\)，用64個標準基表示，作如下變換：
令\(F_{64}\)為64階傅裏葉矩陣，其中64個列向量構成一組傅裏葉基\(F_{64}=(\alpha_1,\cdots,\alpha_{64})\)，
設\(x\)在傅裏葉基下的坐標為\(y\)，則\(x=F_{64}y\)，\(y=F_{64}^Hx\)(利用了傅裏葉矩陣是酉矩陣的性質)，\(y_i=\alpha_1y_1+\cdots+\alpha_{64}y_{64}\)，這一步是無損壓縮
再設置一個閾值\(t\)，將小於t的\(\alpha_i\)都設為0，得到新的數據\(y‘\)，這一步是有損壓縮
信號重構：重構結果\(x‘=F_{64}y‘\)
從而
\[A=(x_1,\cdots,x_8)=F_8(y_1,\cdots,y_8)=\]
註意，其中傅裏葉矩陣及其酉矩陣，與向量作乘法的過程，可以用FFT優化
小波變換實現圖像壓縮
以\(\mathbb R^8\)的小波基為例：
後面三個小波基分別為：
\((0,0,1,-1,0,0,0,0)^T\),\((0,0,0,0,1,-1,0,0)^T\),\((0,0,0,0,0,0,1,-1)^T\)
這些小波基構成的矩陣\(W\)有很好的性質：\(WW^T=nI\)，即將每個小波基單位化後的矩陣是正交陣，這就可以快速地對W求逆了
然後類似於傅裏葉變換的方法對圖像進行壓縮即可
三十四、左右逆和偽逆
設\(A\in \mathbb R^{m\times n}\)，分情況討論：
r(A)=m=n
此時A為可逆方陣，\(A^{-1}\)存在
r(A)=n<m
此時A為列滿秩，\(N(A)=\{0\}\)，\(r(A^TA)=r(A)=n\)，\(A^TA\)可逆：
\[(A^TA)^{-1}A^TA=I\]
\[[(A^TA)^{-1}A^T]A=I\]
稱\((A^TA)^{-1}A^T\)為A的左逆
r(A)=m<n
此時A為行滿秩，\(N(A)=\{0\}\)，\(r(AA^T)=r(A)=m\)，\(AA^T\)可逆：
\[AA^T(AA^T)^{-1}=I\]
\[A[A^T(AA^T)^{-1}]=I\]
稱\(A^T(AA^T)^{-1}\)為A的右逆
r(A)<m,r(A)<n
此時A存在偽逆，對A進行SVD分解：
\[A=U\Sigma V^T\]
其中，
\[\Sigma=\begin{pmatrix}
\sigma_1\& \ddots\&& \sigma_{r(A)}\&&& 0
\end{pmatrix}_{m\times n}\]
- 1.取\[\Sigma^+=\begin{pmatrix} \frac {1}{\sigma_1}\& \ddots\&& \frac 1 {\sigma_{r(A)}}\&&& 0 \end{pmatrix}_{n\times m}\]
A的偽逆為：
\[A^+=V\Sigma^+U^T\]
則有
\[AA^+=U\Sigma V^T V\Sigma^+U^T=U\Sigma \Sigma^+U^T\]
\[=U\begin{pmatrix}I_{r(A)}&0\\0&0 \end{pmatrix}_{m\times m}U^T\]
\[=U\begin{pmatrix}I_{r(A)}&0\\0&0 \end{pmatrix}_{m\times m}U^T\]
\[A^+A=V\Sigma^+ U^T U\Sigma V^T=V\Sigma^+ \Sigma V^T\]
\[=V\begin{pmatrix}I_{r(A)}&0\\0&0 \end{pmatrix}_{n\times n}V^T\]
\[=V\begin{pmatrix}I_{r(A)}&0\\0&0 \end{pmatrix}_{n\times n}V^T\]
MIT線性代數公開課學習筆記第31~35課