A的列空間：column space

設Ax=b，以column picture視角看，每一個x，都是A的列的一種線性組合，每種組合均構成一個b。取遍x 得到的所有的b 構成了A的column space

A的零空間：nullspace

設Ax=0，所有的解x 構成的空間，就是A的nullspace. 

如果A可逆，那麼A的nullspace只包含零向量；否則A的nullspace包含一系列的解（不可能無解，因為x=0永遠都是解）。

觀察A的零空間：將A化為R(row reduced form of A)

假設Ax=0，對A進行elimination不會影響方程組的解，所以elimination之後的U和原先的A有共同的nullspace（但是他們的column space不同）。U還能進一步轉化成R(=reduced)：pivot均為1，且pivot上下都是0，R和A有相同的零空間，

R中的 pivot變數 與 free變數

Rx=0與Ax=0的解完全相同，R和A有相同的零空間。

R中：pivot所在的列對應的x分量是pivot variable，其餘是free variable，例如上圖的R，x1和x3是pivot variable，x2是free variable.

Ax是A各個列的線性組合，而R中free column 可以很容易地用pivot column表示出來(將pivot column組合起來就是I)，如上例：col2 = 5 * col1 + 0 * col3

觀察R的零空間

取x2=1，得到方程的解是x=c*[-5，1,

再如：

R=rref(A)=⎡⎣⎢100100010110⎤⎦⎥R=rref(A)=[110100110000]

第一步令(x2,x4)=(1,0)，第二步令(x2,x4)=(0,1)，每次只讓一個free variable等於1（其餘free variable均為0，這樣pivot column只需要解決等於1的free column），對應的解是：

x=x2⎡⎣⎢⎢⎢−1100⎤⎦⎥⎥⎥+x4⎡⎣⎢⎢⎢−10−11⎤⎦⎥⎥⎥x=x2[−1100]+x4[−10−11]

假設R=[IF]R=[IF]，那麼R對應的nullspace matrix就是X=[−FI

總結：Ax=0的解依賴於 number of free variable = n - rank(A)

• 假如free variable數目為0：解只有零向量
• free variable數目大於0：解即為nullspace matrix的列（乘以任意常數），列的寬度=free variable的數目

Ax=b

存在解的條件

對增廣矩陣elimination之後得到Rx=d，d必須在R的column space中才行，設rank(R)=r：

• R在r+1行以下都是0，對應的d在r+1行以下也應該都是0
• R在r行以上包含一個I，可以組合出在r行以上出現的任意的d

此處b3-b1-b2必須等於0，Ax=b才能有解。

特解x_particular

同Ax=0類似，用elimination方法化成Rx=d之後，特解是：free variables=0, pivot variables from d.下例中，d=[1,6,0]'

特解可能沒有、只有一個（滿秩，nullspace只有零向量）、有很多個（nullspace有很多），上面這個方法只是比較方便的一種找特解法！

通解

=one of x_particular + all x_nullspace  

rank

某個矩陣的rank！

The rank r is the "dimension" of the column space.

當存在自由變數時，nullspace就不止是一個0點，給Ax=b和Ax=0帶來無限可能。自由變數的本質是可以由pivot variable線性表示出來。

當R底下是0時，0那部分會增加限制，有可能導致d不在pivot column的column space中。

右邊多出，錦上添花；下面多出，生死一線。

basis

某個空間的basis！

相互獨立且span出某個空間的一組向量。Rⁿ空間需要有n個相互獨立的向量。

矩陣A的column space的basis可以是矩陣A的pivot column（注意，不是elimination後的R的pivot column，R的pivot column是C(R)的basis）

矩陣A的row space的basis可以是矩陣A elimination之後的非零行(elimination過程不改變A的row space)。

dimension

某個空間的dimension！

一個空間可以有無數個basis，但每個basis中包含的向量數目都相同，都是空間的dimension.

矩陣的四個基本子空間（A 的left nullspace是A^T的nullspace，取轉置：(A'y)'=y'A''=y'A=0'，故名left nullspace）：

筆記四中有四個子空間更深入的討論！