今天和大家聊一個非常重要，在機器學習領域也廣泛使用的一個概念——矩陣的特徵值與特徵向量。

我們先來看它的定義，定義本身很簡單，假設我們有一個n階的矩陣A以及一個實數\(\lambda\)，使得我們可以找到一個非零向量x，滿足：

\[Ax=\lambda x\]

如果能夠找到的話，我們就稱\(\lambda\)是矩陣A的特徵值，非零向量x是矩陣A的特徵向量。

幾何意義

光從上面的式子其實我們很難看出來什麼，但是我們可以結合矩陣變換的幾何意義，就會明朗很多。

我們都知道，對於一個n維的向量x來說，如果我們給他乘上一個n階的方陣A，得到Ax。從幾何角度來說，是對向量x進行了一個線性變換。變換之後得到的向量y和原向量x的方向和長度都發生了改變。

但是，對於一個特定的矩陣A來說，總存在一些特定方向的向量x，使得Ax和x的方向沒有發生變化，只是長度發生了變化。我們令這個長度發生的變化當做是係數\(\lambda\)，那麼對於這樣的向量就稱為是矩陣A的特徵向量，\(\lambda\)就是這個特徵向量對應的特殊值。

求解過程

我們對原式來進行一個很簡單的變形：

\[(A-\lambda I)x = 0\]

這裡的I表示單位矩陣，如果把它展開的話，可以得到一個n元的齊次線性方程組。這個我們已經很熟悉了，這個齊次線性方程組要存在非零解，那麼需要係數行列式

\[|A-\lambda I|\]

不為零，也就是係數矩陣的秩小於n。

我們將這個行列式展開：

\[ \left| \begin{matrix} a_{11}-\lambda & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} - \lambda & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nm} - \lambda \end{matrix} \right| \]

這是一個以\(\lambda\)為未知數的一元n次方程組，n次方程組在複數集內一共有n個解。我們觀察上式，可以發現\(\lambda\)只出現在正對角線上，顯然，A的特徵值就是方程組的解。因為n次方程組有n個複數集內的解，所以矩陣A在複數集內有n個特徵值。

我們舉個例子，嘗試一下：

假設:

\[ A=\left[ \begin{matrix} a_{11}-\lambda & a_{12} \\ a_{21} & a_{22}-\lambda \\ \end{matrix} \right] \]

那麼\(f(\lambda)=(a_{11}-\lambda)(a_{22}-\lambda)-a_{12}a_{21}=\lambda^2-(a_{11}+a_{22})\lambda-|A|\)，我們套入求根公式可以得出使得\(f(\lambda)=0\)的兩個根\(\lambda_1, \lambda_2\)，有：\(\lambda_1+\lambda_2=a_{11}+a_{22},\quad \lambda_1\lambda_2=|A|\)。

這個結論可以推廣到所有的n都可以成立，也就是說對於一個n階的方陣A，都可以得到：

1. \(\lambda_1+\lambda_2+\cdots+\lambda_n=a_{11}+a_{22}+\cdots+a_{nn}\)
2. \(\lambda_1\lambda_2\cdots\lambda_n=|A|\)

案例

我們下面來看一個例子：

\[A=\left[ \begin{matrix} 3 & 1 \\ 1 & 3 \end{matrix} \right]\]

我們帶入\((A-\lambda I)x=0\)，可以得到：

\[ \left| \begin{matrix} 3-\lambda & 1 \\ 1 & 3 - \lambda \end{matrix} \right|=0 \]

所以: \((3-\lambda)^2 - 1 = 0\)，可以看出來\(\lambda_1=2, \quad \lambda_2=4\)

當\(\lambda=2\)時：

\[ \left[ \begin{matrix} 3 & 1\\ 1 & 3 \end{matrix} \right]x = 2x \]

\[ \left[ \begin{matrix} 3 & 1\\ 1 & 3 \end{matrix} \right][a_1, a_2]^T = [2a_1, 2a_2]^T \]

\[ \begin{aligned} 3a_1 + a_2 &= 2a_1 \\ a_1 + 3a_2 &= 2a_2 \end{aligned} \]

解之，可以得到：\(a_1+a_2=0\)，所有\((x, -x)\)向量都是A的特徵向量。

同理，當\(\lambda = 4\)時：
\[ \begin{aligned} \left[ \begin{matrix} 3 & 1\\ 1 & 3 \end{matrix} \right]x &= 4x \\ \left[ \begin{matrix} 3 & 1\\ 1 & 3 \end{matrix} \right][a_1, a_2]^T &= [4a_1, 4a_2]^T \\ 3a_1 + a_2 &= 4a_1 \\ a_1 + 3a_2 &= 4a_2 \end{aligned} \]

解之，可以得到：\(a_1=a_2\)，所有\((x, x)\)向量都是A的特徵向量。

使用Python求解特徵值和特徵向量

在我們之前的文章當中，我們就介紹過了Python在計算科學上的強大能力，這一次在特徵值和特徵矩陣的求解上也不例外。通過使用numpy當中的庫函式，我們可以非常輕鬆，一行程式碼，完成特徵值和特徵向量的雙重計算。

我們一起來看程式碼：

import numpy as np

a = np.mat([[3, 1], [1, 3]])
lam, vet = np.linalg.eig(a)

np.linalg.eig 方法會返回兩個值，第一個返回值是矩陣的特徵值，第二個返回值是矩陣的特徵向量，我們看下結果：

這裡的特徵向量為什麼是0.707呢？因為Python自動幫我們做好了單位化，返回的向量都是單位向量，不得不說實在是太貼心了。

總結

關於矩陣的特徵值和特徵向量的介紹到這裡就結束了，對於演算法工程師而言，相比於具體怎麼計算特徵向量以及特徵值。理解清楚它們的概念和幾何意義更加重要，因為這兩者在機器學習的領域當中廣泛使用，在許多降維演算法當中，大量使用矩陣的特徵值和特徵向量。

對於降維演算法的原理，這裡不過多贅述，我們會在以後的文章當中更新相關內容。感興趣的同學可以小小期待一下。

文章到這裡就結束了，這也是線性代數專題的最後一篇文章，短短六篇文章當然不能涵蓋線性代數這門學科當中的所有知識點，但實際當中常用的內容基本上已經都包括了。下週我們將開始全新的Python專題，希望大家多多期待。

如果覺得有所收穫，請順手點個關注或者轉發吧，你們的支援是我最大的動力。

相關推薦