3 運算和性質

在這一節中，我們將介紹幾種矩陣/向量的運算和性質。很希望這些內容可以幫助你回顧以前知識，這些筆記僅僅是作為上述問題的一個參考。

3.1 單位矩陣與對角矩陣

單位矩陣，記作I ∈ R^n×n， 是一個方陣，其對角線上的都是1，其他元素都是0。即：

它具備A ∈ R^m×n矩陣的所有性質

請註意，在某種意義上，標識矩陣的符號是有歧義的，因為它沒有指定I的維度。一般而言，從上下文中可以推斷出I的維度，這個維度使矩陣相乘成為可能。例如，在上面的等式AI = A中的I是n × n矩陣，而A = IA中 I是m × m矩陣。

對角矩陣除了對角線元素之外其他元素都是0。可以記作D = diag(d

顯然，I = diag(1，1，...，1).

3.2轉置

矩陣的轉置的是矩陣行和列的"翻轉"。對於一個矩陣A ∈ R^m×n，，它的轉置，A^T ∈ R^n×m，是一個n × m 的矩陣，其元素為

我們實際上已經使用轉置當描述行向量的轉置，因為一個列向量的轉置，自然是一個行向量。

下面是一些關於轉置的性質，證明起來也不太難：

• (A^T )^T = A
• (AB)^T = B^T A^T
• (A + B)^T = A^T + B^T

3.3對稱矩陣

如果一個方陣A∈ R^n×n滿足條件A = A^T，（行列互換後與原方陣完全相同）那麽它就是對稱的。如果滿足A = ?A^T則A是反對稱的

右邊的第一個矩陣是對稱的，第二個是反對稱的。在實踐中，對稱矩陣是很常用的，他們有諸多優秀的性質，我們將在以後進行說明。我們通常將所有大小為n的對稱矩陣的集合表示為Sⁿ；A ∈ Sⁿ則表示A是n × n的對稱矩陣。

3.4矩陣的跡

方陣A ∈ R^n×n的跡，記作tr(A)，或可以省略括號表示成trA，是矩陣的對角線元素之和:

正如cs229講義中所述，矩陣的跡具有以下性質（在此講述完全是為了內容的完整性）：

• 對於A ∈ Rn×n
  ， trA = trA^T .
• 對於A，B ∈ R^n×n， tr(A + B) = trA + trB.
• 對於A ∈ R^n×n， t ∈ R， tr(tA) = t trA.
• 對於方陣A,B,C，trABC = trBCA = trCAB，即使有更多的矩陣相乘，這個性質也不變.

前三個性質比較容易證明，咱們一起來看看第4個性質。假設A ∈ R^m×n ，B ∈ R^n×m (因此AB ∈ R^m×m是個方陣)。觀察到BA ∈ R^n×n也是一個方陣，所以他的跡是有意義的。為了證明trAB = trBA，註意到：

在這裏，第一個和最後兩個等式使用了跡運算和矩陣乘法的定義。第四個等式是最重要的部分，它使用了標量乘法的交換性來交換每個乘積中因式順序，也使用了標量加法的交換律和結合律將求和過程重新排序。

3.5範數

向量的範數是向量"長度"的非正式度量。例如，我們常用的歐氏距離（?2範數）。

向量中每個值的平方和 開根號。

註意 .

更正式的來講，範數是滿足以下4個特性的任何一個方程f : Rⁿ → R:

1. 對於任意x ∈ Rⁿ， f(x) ≥ 0 (非負性).
2. 當且僅當x = 0 時，f(x) = 0(確定性).
3. 對於任意x ∈ Rⁿ，t∈ R，f(tx) = |t|f(x) (均勻性).
4. 對於任意 x，y∈Rⁿ，f(x + y)≤f(x) + f(y) (三角不等性).

另一個範數的例子是?₁範數，

以及?_∞範數，

事實上，這三個範數都是?_P範數家族的的例子，它包含一個實參數p≥1。?_P範數定義為：

.

也可以定義矩陣A的範數，如Frobenius範數，

.

也存在許多其他的範數，但它們超出了這篇綜述討論的範圍。

3.6線性無關和秩

對於一組向量{x₁，x₂，...x_n} ∈ R^m，如果沒有向量可以表示為其余向量的線性組合，這組向量就是（線性）無關的。

相反，如果一個向量屬於一個集合，這個集合中的向量可以表示為其余的向量某個線性組合，那麽就稱其稱為向量（線性）相關。

也就是說，對於一些標量值α₁，...，α_n?1 ∈ R，如果

我們說向量x₁，...，x_n是線性相關；否則，該向量線性無關。例如，向量

x1，x2 和 x3 是線性相關的，因為x₃ = ?2x₁ + x₂.

矩陣A ∈ R^m×n的列秩是所有線性獨立的列的最大子集的大小。

列秩通常指矩陣A線性無關的列的數目。相似的，將A的行構成一個線性無關集，行秩是它行數的最大值。

對任意矩陣A ∈ R^m×n，其列秩與行秩是相等的（雖然我們不打算證明），所以我們將兩個相等的秩統稱為A的的秩。秩的一些基本性質如下：

• 對於 A ∈ R^m×n， rank(A) ≤ min(m，n). 如果rank(A) = min(m，n)， 則稱A滿秩。
• 對於 A ∈ R^m×n， rank(A) = rank(A^T ).
• 對於 A ∈ R^m×n， B ∈ R^n×p， rank(AB) ≤ min(rank(A)，rank(B)).
• 對於 A，B ∈ R^m×n， rank(A + B) ≤ rank(A) + rank(B).

3.7逆

矩陣A ∈ R^n×n的逆，寫作A^?1，是一個矩陣，並且是唯一的。

A^?1A = I （單位矩陣）= AA^?1

註意不是所有的矩陣都有逆。例如非方陣，是沒有逆的。然而，即便對於一些方陣，它仍有可能不存在逆（只有部分方陣是可逆的）。

如果A^?1存在，我們稱矩陣A 是可逆的或非奇異的；

如果A^?1不存在，則稱矩陣A不可逆或奇異；

如果一個方陣A有逆A^?1，它必須滿秩。我們很快可以看到，除了滿秩，矩陣可逆還有許多充分必要條件。

滿足以下的性質的矩陣可逆；以下所有敘述都假設A，B ∈ R^n×n是非奇異的：

• (A^?1)^?1 = A
• (AB)^?1 = B^?1A^?1
• (A^?1)^T = (A^T )^?1. 因此這樣的矩陣經常寫作A^?T

舉一個矩陣的逆的應用實例。對於線性方程組Ax = b，其中 A ∈ R^n×n，並且x，b ∈ Rⁿ.如果A是非奇異（即可逆），則x = A^?1b（如果A ∈ R^m×n不是方陣呢？是否成立？）

3.8 正交矩陣

如果x^T y = 0，則兩個向量 x，y ∈ Rⁿ是正交的。對於一個向量x ∈ Rⁿ，如果則是x歸一化的（向量的2範數為1）。對於一個方陣U ∈ R^n×n，如果所有列都是彼此正交和歸一化的，（列就稱為標準正交）則這個方陣是正交的（註意在討論向量或矩陣時，正交具有不同的含義）。

根據正交和歸一化的定義可得：

U^T U = I = UU^T

換言之，一個正交矩陣的逆矩陣的是它的轉置。我們一般只使用正交這個術語來描述U為方陣的情形。

非方陣正交：註意，如果U不是方陣的，也就是說， U ∈ R^m×n，n < m，但它的列仍然是正交的，則U^T U = I，但UU^T ≠ I.等。【左* 與 右* 有區別】

另一個正交矩陣的很好的屬性是，向量與正交矩陣的運算將不會改變其歐氏範數，即對於任意x ∈ Rⁿ，正交的U ∈ R^n×n：

3.9矩陣的值域和零空間

一組向量{x₁，x₂，...x_n}的值域是{x₁，x₂，...x_n}線性組合的所有向量的集合。即

可以看出如{x₁，...，x_n}是一組n個線性無關的向量，其中x_i ∈ Rⁿ，則({x₁，...x_n}) 的值域= Rⁿ。換句話說，任何向量v ∈ Rⁿ可以寫成x₁ 至 x_n的線性組合。向量y ∈ R^m 在值域 {x₁，...，x_n}上的投影 (假定 x_i ∈ R^m) 是向量v ∈ span({x₁，...x_n})，則通過比較其歐式範數，v 與 y無限接近。這個投影記作Proj（Y；{ x1，…，n}）,可以定義它為，

A ∈ R^m×n的值域（有時也被稱為列空間），表示為R(A)，就是A的值域。換言之，

R(A) = {v ∈ R^m : v = Ax，x ∈ Rⁿ}.

我們假設A滿秩且n < m，向量y ∈ R^m 在A值域上面的投影可以表示為

這最後一個方程應該看起來非常熟悉，因為它幾乎是我們在課上用於參數的最小二乘估計公式（並且我們可以快速再次推導出來）幾乎相同的。看一下投影的定義，你會發現這其實與我們在解決最小二乘法問題時進行最小化的目的是相同的（除了範數是一個平方，這並不影響求得最優的點），所以這些問題是有自然聯系的。當 A 僅含有1個單獨的列 a ∈ R^m，則出現了向量在一條直線上投影的特殊情況。

矩陣A ∈ R^m×n的零空間，記為N(A)，是被A乘後，得到的所有等於0的向量一個集合，即，

N(A) = {x ∈ Rⁿ : Ax = 0}.

註意，向量R(A)的大小為m，而N(A)的大小為n，所以 R(A^T ) 和 N(A) 的向量都在 Rⁿ中。事實上，我們可以討論更多。

換句話說，R(A^T ) 和 N(A)是不相交的子集，一同跨越了Rⁿ整個空間。這種類型的集合稱為正交互補，寫作R(A^T ) = N(A)^⊥.

線性代數基礎知識（二）——運算和性質【轉載】