部分資料來自他人部落格，基礎上進行理解

LDA參考 http://blog.csdn.net/warmyellow/article/details/5454943

LDA演算法入門

一． LDA演算法概述：

線性判別式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher線性判別(Fisher Linear Discriminant ,FLD)，是模式識別的經典演算法，它是在1996年由Belhumeur引入模式識別和人工智慧領域的。性鑑別分析的基本思想是將高維的模式樣本投影到最佳鑑別向量空間，以達到抽取分類資訊和壓縮特徵空間維數的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特徵抽取方法。使用這種方法能夠使投影后模式樣本的類間散佈矩陣最大，並且同時類內散佈矩陣最小。就是說，它能夠保證投影后模式樣本在新的空間中有最小的類內距離和最大的類間距離，即模式在該空間中有最佳的可分離性。

二． LDA假設以及符號說明：

假設對於一個空間有m個樣本分別為x1,x2,……xm 即 每個x是一個n行的矩陣，其中表示屬於i類的樣本個數，假設有一個有c個類，則。

………………………………………………………………………… 類間離散度矩陣

………………………………………………………………………… 類內離散度矩陣

………………………………………………………………………… 屬於i類的樣本個數

 …………………………………………………………………………… 第i個樣本

 …………………………………………………………………………… 所有樣本的均值

 …………………………………………………………………………… 類i

三． 公式推導，演算法形式化描述

根據符號說明可得類i的樣本均值為：

 …………………………………………………………………… （1）

同理我們也可以得到總體樣本均值：

………………………………………………………………………… （2）

根據類間離散度矩陣和類內離散度矩陣定義，可以得到如下式子：

  ……………………………………………… （3）

…………………………………… （4）

當然還有另一種類間類內的離散度矩陣表達方式：

其中是指i類樣本

的先驗概率，即樣本中屬於i類的概率（），把代入第二組式子中，我們可以發現第一組式子只是比第二組式子都少乘了1/m，我們將在稍後進行討論，其實對於乘不乘該1/m

我們可以知道矩陣的實際意義是一個協方差矩陣，這個矩陣所刻畫的是該類與樣本總體之間的關係，其中該矩陣對角線上的函式所代表的是該類相對樣本總體的方差（即分散度），（橫線是自己開始的認知混亂，把LDA公式當成了PCA快速計算裡面的一個步驟，造成錯誤理解）用各子類作為樣本，表示d個特徵向量之間的相關性（假設是d維空間，有d個特徵向量），那麼，非對角線上的元素所代表的是不同特徵向量之間的相關性，對角線元素反映的是d維中某個特徵向量內的各子類相關性，是該類樣本總體均值的協方差（即該類和總體樣本的相關聯度或稱冗餘度），所以根據公式（3）可知（3）式即把所有樣本中各個樣本根據自己所屬的類計算出樣本與總體的協方差矩陣的總和，這從巨集觀上描述了所有類和總體之間的離散冗餘程度。同理可以的得出（4）式中為分類內各個樣本和所屬類之間的協方差矩陣之和，它所刻畫的是從總體來看類內各個樣本與類之間（這裡所刻畫的類特性是由是類內各個樣本的平均值矩陣構成）離散度，其實從中可以看出不管是類內的樣本期望矩陣還是總體樣本期望矩陣，它們都只是充當一個媒介作用，不管是類內還是類間離散度矩陣都是從巨集觀上刻畫出類與類之間的樣本的離散度和類內樣本和樣本之間的離散度。

LDA做為一個分類的演算法，我們當然希望它所分的類之間耦合度低，類內的聚合度高，即類內離散度矩陣的中的數值要小，而類間離散度矩陣中的數值要大，這樣的分類的效果才好。

這裡我們引入Fisher鑑別準則表示式：

PCA參考  http://pinkyjie.com/2010/08/31/covariance/

思考總結：

一維向量， 均值：表示向量平均數   方差：向量取值離散度   標準差：向量取值距向量均值的距離，方差開根號

二維向量， 協方差：表示兩個向量之間的相關性，有2中計算方式 

  1、套用一維向量的方差公式，表示兩個向量之間的相關性 ，

cov(X,Y)=∑ni=1(Xi−X¯)(Yi−Y¯)n−1

或者直接通過相關性公式計算：cov（X,Y）指向量x與向量y的 相關性， 樣本矩陣MySample 10個樣本，每個樣本3個向量組成，所以這個樣本矩陣 是每一個樣本里麵包含了多個向量 ，cov（MySample），指的是MySample裡面的3個向量之間的相關性

協方差也只能處理二維問題，也就是隻能反映2個向量之間的相關性，那維數多了自然就需要計算多個協方差，就需要協方差矩陣了

因此上面的  三維向量的樣本矩陣MySample 向量x,y,z之間的相關性 通過如下協方差矩陣來表示，。

為了描述方便，我們先將三個維度的資料分別賦值：

計算dim1與dim2，dim1與dim3，dim2與dim3的協方差：

搞清楚了這個後面就容易多了，協方差矩陣的對角線就是各個維度上的方差，下面我們依次計算：

這樣，我們就得到了計算協方差矩陣所需要的所有資料。

直接呼叫Matlab自帶的cov函式進行驗證：

把我們計算的資料對號入座，是一摸一樣的

2、向量中心化，樣本矩陣轉置*矩陣，除以（n-1）

Update：今天突然發現，原來協方差矩陣還可以這樣計算，先讓樣本矩陣中心化，即每一維度減去該維度的均值，使每一維度上的均值為0，然後直接用新的到的樣本矩陣乘上它的轉置，然後除以(N-1)即可。其實這種方法也是由前面的公式通道而來，只不過理解起來不是很直觀，但在抽象的公式推導時還是很常用的！同樣給出Matlab程式碼實現：

注意區分：

1、矩陣轉置*矩陣【 (X'*X) 】 並不是等於 協方差矩陣，  而是協方差矩陣可以通過樣本矩陣轉置相乘，再除以（n-1）的方式快速計算得到。

向量*向量的轉置 = ？

2、LDA計算公式 既不是協方差的公式【差-積X*Y-和-均】，也不是 【矩陣轉置*矩陣(X'*X) 】

而是【差-積（向量與自己轉置的積(X*X')）- 和】   

形式上更類似於 方差的概念【差-積（自己與自己）-和-均】 ，只不過方差裡面的自乘積元素是標量， LDA裡面自乘積的元素是向量

3、卷積   不要把卷積和相關性混了

matlab中，cov() 是相關係數計算函式    卷積函式 conv——一維卷積   conv2——二維卷積

矩陣沒有卷積，向量才有卷積

卷積：http://blog.csdn.net/anan1205/article/details/12313593

沒有矩陣卷積的，只有向量卷積。當然，如果你硬要把向量理解為一個1*n的矩陣，那也說的過去。 影象中是存在矩陣卷積操作的。

所謂兩個向量卷積，說白了就是多項式乘法。比如:p=[1 2 3],q=[1 1]是兩個向量，p和q的卷積如下：把p的元素作為一個多項式的係數，多項式按升冪（或降冪）排列，比如就按升冪吧，寫出對應的多項式：1+2x+3x^2;同樣的，把q的元素也作為多項式的係數按升冪排列，寫出對應的多項式：1+x。卷積就是“兩個多項式相乘取係數”。（1+2x+3x^2）×（1+x）=1+3x+5x^2+3x^3所以p和q卷積的結果就是[1 3 5 3]。記住，當確定是用升冪或是降冪排列後，下面也都要按這個方式排列，否則結果是不對的。你也可以用matlab試試p=[1 2 3]q=[1 1]conv(p,q)看看和計算的結果是否相同。