線性相關性，基和維度

reference的內容為唯一教程，接下來的內容僅為本人的課後感悟，對他人或無法起到任何指導作用。

Reference

1. Course website: Independence, Basis and Dimension | Unit I: Ax = b and the Four Subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 【完整版-麻省理工-線性代數】全34講+配套教材_嗶哩嗶哩_bilibili
3. Course summary: Lecture 9: Independence, basis, and dimension (mit.edu)
4. Extra reading: Section 3.4 in Introduction to Linear Algebra, Fifth Edition by Gilbert Strang.

果然我代入了先前學過的東西到這門課程，於是我在第一講就已經帶出來了很多概念，在這一講需要重新梳理一下。

Linear Independence

正式給出線性獨立的定義：向量組的線性組合若非係數全零就無法組合出零向量，那麼這組向量線性無關/線性獨立，否則線性相關。也就是說如果\(x_{1}\boldsymbol{c}_{1}+\cdots+x_{n}\boldsymbol{c}_{n}=\boldsymbol{0}\)

它等價於任意一個向量不能由其他向量線性表示。因為如果線性無關，\(\boldsymbol{c}_{1}=\frac{-x_{2}\boldsymbol{c}_{2}-\cdots-x_{n}\boldsymbol{c}_{n}}{x_{1}}\)由於分母為0不成立，就不能線性表示。但是如果線性相關就能線性表示了。反著推也能用這個條件推出上面的條件。

如果\(\boldsymbol{A}=\begin{bmatrix} \boldsymbol{c}_{1} & \cdots & \boldsymbol{c}_{n}\\ \end{bmatrix},\boldsymbol{x}=\begin{bmatrix} x_1 & \cdots & x_n\\ \end{bmatrix}^\mathrm{T}\)

m < n

如果 \(m<n\)，由於 \(r\le{m}\)，自由變數數 \(n-r\ge{n-m}>0\)，則必有自由變數，則\(\boldsymbol{Ax}=\boldsymbol{0}\)必有非零解，則 \(\boldsymbol{A}\) 的列向量必然線性相關。

3 Examples

1. 兩個共線向量是線性相關的，因為其中一個可以用另一個線性表示。

2. 只要有零向量就是線性相關的，總可以讓零向量的係數非零其餘全零。

3. m<n的情況，三個二維向量必然是線性相關的。

   

Span

向量線性組合構成的集合就是span，中文叫做“張成”，這個不太需要再重新介紹了。

用來張成空間的向量既可以線性相關也可以線性無關，但是我們對線性無關的向量更改興趣，因此才有了基的概念。

Basis

基也是一組向量，但它是相對於某個空間 \(\mathbb{S}\)，而且需要滿足兩個條件：

• 線性無關
• 能夠張成全部空間 \(\mathbb{S}\)

比如 \(\mathbb{R}^3\) 的基可以是 \(\boldsymbol{I}_{3\times{3}}\) 的全部列向量，如果多一個向量，就會線性相關，如果少一個向量比如 \(\begin{pmatrix} 0,0,1 \end{pmatrix}\)，只能張成 \(xoy\) 平面，所以這一個向量的向量組只能是 \(xoy\) 平面的基。

Dimension

首先基沒有多餘的向量，因此不能太多。而且基必須表示全部空間，因此不能太少，那麼到底應該有多少個呢？

一：\(\mathbb{R}^m\) 的基為 \(m\) 個線性無關的 \(m\) 維向量。Why \(m\)？從基的性質出發：

• 線性無關：\(\boldsymbol{N}(\boldsymbol{A})=\{\boldsymbol{0}\}\)，\(n-r=0\)。因為 \(r\le{m}\)，所以 \(r=n\le{m}\)。
• 張成全部空間：\(\boldsymbol{Ax}=\boldsymbol{b}\) 恆有解 \(\Rightarrow \boldsymbol{Rx}=\boldsymbol{c}\) 恆有解 \(\Rightarrow\) 不能有全零行 \(\Rightarrow r=m\)，而 \(r\le n\)，所以 \(n\ge m=r\)。
• 所以 \(n=m=r\)，基向量組成一個可逆方陣。

可以看出 \(\mathbb{R}^m\) 的基必有 \(m\) 個，而且可以有無窮多種基組合，直接給出結論：

二：不同的基可以張成同一個空間，但是每一種基所含的向量個數相同，這個數量被稱為這個空間的維度。

Bases of A Column Space and Nullspace

用這個矩陣舉例：

顯然矩陣A的列向量是線性相關的，可以看出第二列向量可以用第一列向量表示（所以第二列沒有主元），第四列向量可以用第一列和第三列的列向量表示（-2倍第一列+2倍第三列）。所以第二列和第四列冗餘，不需要它們也能表示出整個列空間 \(\boldsymbol{C}(\boldsymbol{A})\)，第一列和第三列還是線性無關的，所以可以取第一列和第三列作為列空間的基。結合前面所學：

所以知道列空間維度dim之後，在列空間裡面任取dim個線性無關的向量就是列空間的基。也就是說主元所在的列向量構成列空間的基。

零空間由Reduced Echelon Form算出的special solutions張成。它由 \(n-r\) 維的向量組成。直接給出結論全部special solutions構成零空間的基：

Question

講座中提到 \((1,1,2)\)，\((2,2,5)\)，\((3,3,7)\) 三個向量線性相關，因為第三個向量等於前兩個向量相加，組成的方陣不可逆。

那麼如果把 \((3,3,7)\) 改成 \((3,3,8)\)，是否線性無關呢？

就算不去驗證是否可逆，也能確信地說：仍然線性相關。

這涉及到了下一講的內容了。