矩陣代數部分

1. 特徵值與特徵向量

特徵值與特徵向量的定義：Ax=λx$Ax=\lambda x$，其中 An×n,xn×1≠0$A_{n\times n},x_{n\times 1}\ne \mathbf{0}$。在複數域上 An×n$A_{n\times n}$ 一定對應 n$n$ 個特徵值，故有如下等式成立：

Awi=λiwi,i=1,2,⋯,n$$A{w}_i={\lambda }_i{w}_i,i=1,2,\cdots ,n$$

於是可得

A[w1,w2,⋯,wn]=[w1,w2,⋯,wn]⎡⎣⎢⎢⎢λ1λ2⋯λn⎤⎦⎥⎥⎥⟹AW=WΣ⟹A=WΣW−1$$A\left[w_1,w_2,\cdots ,w_n\right]=\left[w_1,w_2,\cdots ,w_n\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ \cdots \\ {\lambda }_n\end{array}\right]⟹AW=W\mathrm{\Sigma }⟹A=W\mathrm{\Sigma }{W}^{-1}$$

其中，W$W$ 的 n$n$ 個特徵向量為標準正交基，滿足 WTW=I$W^{T}W=I$，即正交矩陣

或酉矩陣。注意到以上的特徵分解，矩陣 A$A$ 必須為方陣。如果不滿足方陣條件，即 Am×n$A_{m\times n}$，此時對矩陣進行分解需要 SVD 了。

2. 奇異值分解

矩陣分解有很多方法，例如特徵分解（Eigendecomposition）、LU分解（LU decomposition）、QR分解（QR decomposition）和極分解（Polar decomposition）等。奇異值分解（Singular Value Decomposition，SVD）是其中的一種矩陣分解方法：

Am×n=Um×mΣm×nVTn×n$$A_{m\times n}=U_{m\times m}{\mathrm{\Sigma }}_{m\times n}{V}_{n\times n}^T$$

其中，U$U$ 和 V$V$ 都是正交矩陣，在複數域內的話就是酉矩陣，即

UTU=Im×m,VTV=In×n$U^{T}U=I_{m\times m},V^{T}V=I_{n\times n}$，U$U$ 和 V$V$ 的列分別叫做 A$A$ 的左奇異向量和右奇異向量。Σ$\mathrm{\Sigma }$ 就是一個非負實對角矩陣，主對角線上的每個元素都稱為奇異值。其中我們發現 AAT=UΣVTVΣUT=UΣ2UT$A{A}^T=U\mathrm{\Sigma }{V}^{T}V\mathrm{\Sigma }{U}^T=U{\mathrm{\Sigma }}^2{U}^T$，可知 AAT$A{A}^T$ 的特徵值矩陣等於 A$A$ 的奇異值矩陣 Σ$\mathrm{\Sigma }$ 的平方，於是特徵值 λ$\lambda$ 和 奇異值 σ$\sigma$ 的關係即

相關推薦

陣列訊號基礎：矩陣代數部分

矩陣代數部分 1. 特徵值與特徵向量 特徵值與特徵向量的定義：Ax=λxAx=λx，其中 An×n,xn×1≠0An×n,xn×1≠0。在複數域上 An×nAn×n 一定對應 nn 個特徵值，故有如下等式成立： Awi=λiwi,i=1,2,⋯,n

陣列訊號基礎：高階統計量部分

高階統計量部分 X1,X2,⋯,XnX1,X2,⋯,Xn 是從總體 XX 中抽取的容量為 nn 的一個樣本，如果由此樣本構造一個函式 T(X1,X2,⋯,Xn)T(X1,X2,⋯,Xn)，不依賴於任何未知引數，則稱函式 T(X1,X2,⋯,Xn)T(X1,X

統計學中的協方差矩陣（陣列訊號基礎）

在處理陣列訊號的時候，為了獲得空間訊號維度的相關性，以估計目標的資訊。故使用協方差矩陣能夠獲得這些，因為協方差矩陣是每一維度下（也就是陣元）訊號的相關性。當兩個維度相關時，訊號的協方差也是最大的。   一、統計學的基本概念   統計學裡最基本的概念就是樣本的均值、

Introduction to 3D Game Programming with DirectX 12 學習筆記之 --- 第二章：矩陣代數

學習目標： 理解矩陣和與它相關的運算； 理解矩陣的乘法如何被看成是線性組合； 理解單位矩陣、轉置矩陣、矩陣的行列式和逆矩陣； 熟悉DirectX Math庫中矩陣相關的類和函式； 1 矩陣的定義 一個m x n的矩陣M是一個有實陣列成的

NumPy基礎：線性代數

線性代數，比如矩陣乘法、分解、行列式等方陣數學，是所有陣列類庫的重要組成部分。和Matlab等其他語言相比，NumPy的線性代數中所不同的是*是矩陣的逐元素乘積，而不是矩陣的點乘積。因此NumPy的陣列方法和numpy名稱空間中都有一個函式dot，用於矩陣的操作： import nump

3D數學基礎：矩陣的幾何解釋

一般來說，方陣能夠描述任意的線性變換。線性變換的定義在文章中已經提到。線性變換具體來說包括：旋轉、縮放、投影、映象、仿射。本文以旋轉為例講述矩陣的幾何意義。 一、基礎解釋 向量是基向量的線性組合，矩陣是基向量的集合。 世界座標系中的某一個向量使

Introduction to 3D Game Programming with DirectX 12 學習筆記之 --- 第二章：矩陣代數

bin 存在 present 文檔 spec 它的 height math.h defined 原文:Introduction to 3D Game Programming with DirectX 12 學習筆記之 --- 第二章：矩陣代數

人工智慧必備數學基礎：線性代數基礎（1）

如果需要小編其他數學基礎部落格，請移步小編的GitHub地址 　　傳送門：請點選我 　　如果點選有誤：https://github.com/LeBron-Jian/DeepLearningNote  　　這裡我打算再補充一下關於線性代數的基礎。 　　（注意：目前自己補充到的所有知識點，均按照自己網課

人工智慧必備數學基礎：線性代數基礎（2）

如果需要小編其他數學基礎部落格，請移步小編的GitHub地址 　　傳送門：請點選我 　　如果點選有誤：https://github.com/LeBron-Jian/DeepLearningNote 　　這裡我打算補充一下機器學習涉及到的一些關於特徵值和特徵向量的知識點。 　　（注意：目前自己補充到的所有知識點

深度學習/機器學習入門基礎數學知識整理（一）：線性代數基礎，矩陣，範數等

前面大概有2年時間，利用業餘時間斷斷續續寫了一個機器學習方法系列，和深度學習方法系列，還有一個三十分鐘理解系列（一些趣味知識）；新的一年開始了，今年給自己定的學習目標——以補齊基礎理論為重點，研究一些基礎課題；同時逐步繼續寫上述三個系列的文章。 最近越來越多的

數學 - 線性代數 - #12 向量空間的衍生：矩陣空間、微分方程的解、圖

對象 矩陣 mar nodes all 向量 cnblogs 導論 概念 線性代數導論-#12 向量空間的衍生：矩陣空間、微分方程的解、圖 凡是可以進行加法和數乘運算的對象，我們都可以將其視為向量。 凡是對加法和數乘封閉的集合，我們都可以將其視為空間。 分析空間時，我們著

資料基礎---《利用Python進行資料分析·第2版》第4章 NumPy基礎：陣列和向量計算

之前自己對於numpy和pandas是要用的時候東學一點西一點，直到看到《利用Python進行資料分析·第2版》，覺得只看這一篇就夠了。非常感謝原博主的翻譯和分享。 NumPy（Numerical Python的簡稱）是Python數值計算最重要的基礎包。大多數提供科學計算的包都是用Nu

前端（十四）—— JavaScript基礎：Number、Date類、字串、陣列、Math類、正則

JS常用類：Number類、Date類、Math類、字串、陣列、正則 一、Number 1、常用數字 整數：10 小數：3.14 科學計數法：1e5 | 1e-5 正負無窮：Infinity | -Infinity 2、常用進位制 二進位制：0b1010 以0b開頭 八進位制：012 以0

使用Python進行資料分析--------------NumPy基礎：陣列和向量計算

NumPy（Numerical重點內容 Python的簡稱） 是Python數值計算最重要的基礎包。大多數提供科學計算的包都是用NumPy的陣列作為構建基礎。 NumPy的部分功能如下： - ndarray，一個具有向量算術運算和複雜廣播能力的快速且節省空間的多維陣列。 -

第4章 NumPy基礎：陣列和向量計算

                                          &nb

第四篇 NumPy基礎：陣列和⽮量計算

NumPy（Numerical Python的簡稱）是Python數值計算最重要的基礎包。⼤多數提供科學計算的包都是⽤NumPy的陣列作為構建基礎。NumPy的部分功能如下： 　　ndarray，⼀個具有⽮量算術運算和複雜⼴播能⼒的快速且節省空間的多維陣列。 　　⽤於對整組資料進⾏快速運算的標準數學函式（⽆需

[線性代數] 矩陣代數進階：矩陣分解 Matrix factorization

Matrix factorization 導語：承載上集的矩陣代數入門，今天來聊聊進階版，矩陣分解。其他集數可在[線性代數]標籤文章找到。有空再弄目錄什麼的。     Matrix factorization is quite like an application of inv

【資料分析】：Numpy基礎：陣列和向量運算

☆Numpy（Numerical Python）是高效能科學計算和資料分析的基礎包，它是幾乎所有資料分析高階工具的構建基礎。 ndarry ,一個具有向量算數運算和複雜廣播能力的快速且節省空間的多維陣列。 用於對整組資料進行快速運算的標準數學函式（無需編寫迴

Deep Learning 學習筆記3：《深度學習》線性代數部分

標量：一個標量就是一個單獨的數 向量：一個向量是一列數，這些數是有序排列的，比如：,如果每個元素都屬於實數R，且有n個元素，則記為：。向量可以看做n維空間的點。 矩陣：二維陣列，如果一個矩陣A高度為m，寬度為n，且每個元素都屬於實數，則記為：A∈ 張量：一組陣列中的元素

MIT 線性代數導論 第二講：矩陣消元

第二講的主要內容： 線性方程組的消元法 使用矩陣語言表示消元過程 向量、矩陣乘的理解 置換矩陣的概念 初步逆矩陣的概念 線性方程組的消元法 例子： {x+2y+z=23x+8y+z=124y+z=2\left\{\begin{matrix} x+2y+z=2