線性代數三(重點)
一、最小二乘法:
1、矩陣、向量的求導法則:
思路:將前面的項看作一個整體,對後面求導後 再展開前面的 整體。
①行向量對元素進行求導:
②:列向量對元素進行求導:
③矩陣對元素進行求導:
④元素對行向量進行求導:
⑤元素對列、矩陣:類似上述方法。
⑥列向量對行向量求導、行向量對列向量求導:
⑦列向量對列向量求導:
注意:工程上用雅克比矩陣來計算列向量與列向量求導,即先將 第一個 列向量 轉置轉化為 行向量,然後求導。
⑧矩陣對矩陣的求導:將Y看做整體 求導後 展開。
2、向量導數性質公式:
- 向量的導數公式:
公式一 推導:
3、標量的導數公式:A 是一個 方陣。
注意: 是一個標量,其值為:二次型 f(x1,x2... xn) 的結果。
4、標量對方陣的導數:
5、最小二乘法:
作用:根據多組的實驗資料,找出多個引數 a,b,c .. 與 真實結果的 近似函式關係。
方法:讓多個引數a,b,c .. 同時滿足 條件 實際上一般是不可能的,任何a,b代入上面各式都會發
生誤差。於是想找a,b,c 使 上面各式的誤差的平方和最小,誤差的平方即二乘方,故稱為最小二乘法。
過程:
①構造方程組:
②構造方程矩陣:A 是 係數矩陣 X 是引數 矩陣 B是真實值 矩陣。
③ 將最小二乘結果轉化為 列向量 AX - B 的 模的平方 ,求出函式的 最小值(極值,對 列向量 X 進行求導,):
④ 結論:
例題:
例二:
二、特徵值與特徵向量:
- 理解:矩陣是一個向量組,由許多 行向量 和 縱向量 組成。
- 矩陣方程求解 用增廣矩陣初等變換化為 E 。齊次/非齊次方程組 的解用 初等變化 化為 行最簡階梯型。
- 初步認為由多元一次方程組的係數組成(區別於矩陣初等變換求解矩陣方程)。矩陣是一種線性變換,可以將一些向量轉化為另一種向量。
1、線性方程組求解:
①齊次方程組的解判定:
②非齊次方程組的解判定:
③基礎解系與通解的概念:基礎解系不是唯一的。
④例項: 求解線性方程組
- 注意:一定要將增廣矩陣轉化為 行最簡階梯型 。
2、特徵值和特徵向量:
①特徵值特徵向量的定義:
三:矩陣的分解:
1、海森矩陣:
是一個多元函式的二階偏導數構成的方陣:
在具體點M0 的 海森矩陣:
①利用海森矩陣求解多元函式極值:
例題:
2、奇異矩陣(不可逆矩陣):
3、正交矩陣與酉矩陣:
(1)正交向量的定義:
(2)正交矩陣與酉矩陣:它是方陣
正交矩陣與酉矩陣的兩個特徵:負數的正交矩陣叫酉矩陣
① 列(行)向量都是單位向量。 ② 兩兩正交。
(3)正交矩陣的性質:
4、QR分解:正交三角分解
前提:矩陣A必須滿秩。
方法:QR分解 要求 矩陣A列向量的 正交矩陣Q 與 係數矩陣 R。
(1)QR分解的定義:
(2)施密特正交化過程 :
(3)QR分解的步驟:
①寫出矩陣A所有的列向量
②將列向量施密特正交化
③將上面矩陣單位化得到正交矩陣
④求出正交矩陣轉化為矩陣A的係數矩陣R(上三角矩陣)。
例:
5、實對稱矩陣的譜分解(SD):
前提:矩陣 A 必須是 實對稱矩陣。
方法:SD分解需要求矩陣A的 特徵值 與 特徵向量。
注意:SD分解時:特徵值與特徵向量的排序要一一對應。
(1)譜分解(SD)分解的定義:
(2)例題:
6、奇異值分解(SVD)分解:
前提:矩陣A沒有特殊要求
方法:利用矩陣A的hermite矩陣 求出所有的特徵值 與 特徵向量 >>>>>>>> 求出 △ 和 酉矩陣 V ,由V1 求出 U1,在由 U1 擴充 出 U。
注意:特徵值與特徵向量的排序要一一對應;注意V1、U1 與 酉矩陣V 、酉矩陣 U的關係。
(1)SVD分解的定義:
(2)奇異值的定義:
奇異值的特點:必須從大到小排列,且全部大於零(hermite矩陣特徵值排列後的平方根)
1、hermite 矩陣:
2、奇異值的定義:
(3)酉等價、酉相似:
(4)SVD分解的方法與步驟:
①求 矩陣A 的 hermite 矩陣的 酉相似對角矩陣 △ 及酉相似矩陣 V:
具體方法:1) 通過hermite矩陣 求出 所有的 特徵值 和 特徵向量
2)根據hermite特徵值求出 矩陣A 的奇異值,再根據每個特徵值 求出 對應的 特徵向量,酉矩陣 V 就是
由 這些特徵向量按照 奇異值的 排列順序 的正交化矩陣。
3)將酉矩陣V 用 (V1, V2)來寫:V1 是 奇異值或者特徵值 > 0 對應的 特徵向量,V2 是由剩餘的特徵向 量組成的。
②剩下的步驟:
例題: