線性判別分析（Linear Discriminant Analysis，LDA）是一種可作為特徵抽取的技術，可以提高資料分析過程中的計算效率，同時對於不適用於正則化的模型，它可以降低模型災難帶來的過擬合。

1、LDA 的概念與 PCA 區別與聯絡

• 1.PCA 試圖在資料集中找到方差最大的正交主成分量的軸，而 LDA 的目標是發現可以最優化分類的特徵子空間。LDA 和 PCA 都是可以降低資料集維度的線性轉化技巧。
• 2.PCA 是一種無監督演算法（不需要類標籤的參與），而 LDA 是監督演算法。
• 3.在影象識別某些情況下，如每個類別中只有少量樣本使用 PCA 最為預處理工具的分類結果更佳。

下圖解釋了二分類 LDA 的概念，x 和點分別表示一個類別：

在 x 軸方向（LD1）通過線性判斷，可以很好地將呈現正態分佈的兩個類分開。雖然沿 y 軸（LD2）方向的線性判別保持了資料集的較大的方差（與 PCA 相似），但是沿著此方向無法提供關於類別區分的任何資訊，y 軸的這個情況也不是一個好的線性判定。

2、LDA 演算法步驟

3、計算散步矩陣

4、在新特徵子空間上選取線性判別演算法

5、將樣本對映到新的特徵空間