PCA和LDA的對比
阿新 • • 發佈：2018-08-11
分布 inf image 訓練樣本 log 正交 有監督 html 冗余
PCA和LDA都是經典的降維算法。PCA是無監督的，也就是訓練樣本不需要標簽；LDA是有監督的，也就是訓練樣本需要標簽。PCA是去除掉原始數據中冗余的維度，而LDA是尋找一個維度，使得原始數據在該維度上投影後不同類別的數據盡可能分離開來。
PCA
PCA是一種正交投影，它的思想是使得原始數據在投影子空間的各個維度的方差最大。假設我們要將N維的數據投影到M維的空間上（M<N），根據PCA，我們首先求出這N維數據的協方差矩陣，然後求出其前M個最大的特征值所對應的特征向量，那麽這M個特征向量即為所求的投影空間的基。
LDA
用一句話來概括LDA的思想就是，投影後類內方差最小，類間方差最大。如下圖所示有兩種投影方式，左邊的投影後紅色數據和藍色數據還有重疊部分，右邊的投影後紅色數據和藍色數據則剛好被分開。LDA的投影即類似右邊的投影方式，投影後使得不同類別的數據盡可能分開，而相同類別的數據則盡可能緊湊地分布。
圖片來源於網絡
Reference:
- https://blog.csdn.net/yaoqi_isee/article/details/71036320
- https://www.cnblogs.com/pinard/p/6244265.html
PCA和LDA的對比