PCA為什麼要用協方差矩陣的特徵向量矩陣來做投影矩陣呢？

降維的目的就是“降噪”和“去冗餘”。

“降噪”的目的就是使保留下來的維度間的相關性儘可能小，而“去冗餘”的目的就是使保留下來的維度含有的“能量”即方差儘可能大。

我們要最大化方差來保留更多的資訊。去噪。

有趣的是，協方差矩陣能同時表現不同維度間的相關性以及各個維度上的方差。

協方差矩陣度量的是維度與維度之間的關係，而非樣本與樣本之間。協方差矩陣的主對角線上的元素是各個維度上的方差(即能量)，其他元素是兩兩維度間的協方差(即相關性)。

先看“降噪”，讓保留下的不同維度間的相關性儘可能小，也就是說讓協方差矩陣中非對角線元素都基本為零。達到這個目的的方式——矩陣對角化。

再看“去冗餘”，對角化後的協方差矩陣，對角線上較小的新方差對應的就是那些該去掉的維度。我們只取那些含有較大能量(特徵值)的維度，其餘的就舍掉即可。

引用：

https://blog.csdn.net/babywong/article/details/50085239