這一節課主要講的是正交

下圖為之前四種子空間的關係

orthogonal(perpendicular) vectors

xTy=0$x^{T}y=0$
||x||2+||y||2=||x+y||2$||x|{|}^2+||y|{|}^2=||x+y|{|}^2$
->xTx+yTy=(x+y)T(x+y)=xTx+yTy+2xTy+yTx$x^{T}x+y^{T}y=(x+y{)}^T(x+y)=x^{T}x+y^{T}y+2x^{T}y+y^{T}x$
->xTy=0$x^{T}y=0$

zero vector is orthogonal to everybody

subspace S is orthogonal to subspace T

means:every vector in S is orthogonal to every vector in T

這也代表了:orthogonal subspaces don’t intersect at any nonzero vector

row space is orthogonal to null space

but why?
證明如下:
AX = 0
⎡⎣⎢⎢⎢row1row2...rown⎤⎦⎥⎥⎥[x]=0$\left[\begin{array}{c}row1\\ row2\\ ...\\ rown\end{array}\right]\left[\begin{array}{c}x\end{array}\right]=0$
c1(row1)Tx=0$c_1(ro{w}_1{)}^{T}x=0$
c2(row2)Tx=0$c_2(ro{w}_2{)}^{T}x=0$
…
(c1row1+c2row2+...)Tx=0$(c_{1}ro{w}_1+c_{2}ro{w}_2+...{)}^{T}x=0$

nullspace and row space are orthogonal complements in

Rn$R^n$
which means
null space contains all vectors 垂直於 row space

coming:

“solve” Ax = b when there is no solution

為什麼我們要求一個看起來這麼荒謬的東西？
兩個原因:
1.當m > n時，有大量的b不會在A的列空間中
2.實際應用時候，b可能會有噪音(觀測值誤差)，而我們想利用b獲取更多的資訊

為了解決這個問題，我們需要更好的瞭解ATA$A^{T}A$,它有兩個特點:
1.square
2.symmetric

我們首先來看一個ATA$A^{T}A$的例子:
A=⎡⎣⎢111

125⎤⎦⎥$A=\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]$
可以看出，A是不可逆的，m > n
我們來看看ATA$A^{T}A$
ATA=[38830]$A^{T}A=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]$
ATA$A^{T}A$可逆！
那麼對於Ax=b$Ax=b$,我們可以做一下轉換:
ATAx=ATb−>x=(ATA)−1ATb$A^{T}Ax=A^{T}b->x=(A^{T}A{)}^{-1}{A}^{T}b$

既然如此，那麼我們自然很關注

相關推薦