PCA, Principle Component Analysis, 主成份分析, 是使用最廣泛的降維演算法.
......
(關於PCA的演算法步驟和應用場景隨便一搜就能找到了, 所以這裡就不說了. )

假如你要處理一個數據集, 資料集中的每條記錄都是一個\(d\)維列向量. 但是這個\(d\)太大了, 所以你希望把資料維度給降下來, 既可以去除一些冗餘資訊, 又可以降低處理資料時消耗的計算資源(用computation budget 來描述可能更形象).

用稍微正式點的語言描述:

• 已知:一個數據集\(D\), 記錄(或者樣本, 或input pattern)\(x_i \in D\) 是\(d\)
  維列向量.
• 目標:將每個\(x \in D\) 對映到另一個\(p\)維空間, \(p < d\)(雖然等於也是可以的, 但沒什麼意義). 得到一個新的資料集\(Z\), 對\(Z\)的要求是儘量儲存\(D\)中的有效資訊.

那麼, 問題就來了. 如何將一個\(d\)維向量對映成一個\(p\)維向量? 答案是基變換. 然而基變換方式不是唯一的, 如何確保變換是最優的? 這就由優化目標"儘量儲存原資料集中的資訊" 決定了: 最好的基變換能儲存最多的資訊. 注意了, 這裡的比較都是在同一個\(p\)下進行的, 也就是說, 參與競爭的基集(basis set)們, 都把\(d\)維\(D\)

那麼, (不好意思, 又一個那麼. 這不是第一個, 當然也不是最後一個. 是的, 我喜歡用這個詞.), 現在面臨的問題是, 如何衡量資訊的多少? 我並不懂資訊科學, 只知道一點, 資訊在差異中存在. 如果全是相同的東西, 量再多,它的資訊量也沒有多少. PCA演算法採用方差(variance)來度量資訊量.

那麼, 如何用variance來度量資料集\(D\)包含的資訊量呢? 一個基(basis)一個基地衡量. 資料集在某個基上的投影值(也是在這個基上的座標值)越分散, 方差越大, 這個基保留的資訊也就越多. 不嚴格的來一句, 一個基集保留下的資訊量是每個基保留下的資訊量的和.

基於上面的理念, 或者說假設, 我們已經有一種可以有效地找出最優基集的方法了: 貪心演算法---先找出保留資訊量最大的基向量, 然後是第二大的, 然後然後, 直到找滿\(p\)個基向量.

接下來, 將上面的分析用數學語言描述出來.
\(v\)為一個用於變換的基. \(D\)中的某一條記錄\(x\)在\(v\)上的投影長度(即座標值)為: \[proj(x, v) = \frac {v^Tx}{||v||}\]
假如\(v\)為單位向量, 則:\[proj(x, v) = v^Tx\]
所以, 為了方便計算, 我們對\(v\)有了一個約束條件: \(v\)為單位向量. 這個太好說了, normalize 一下就行了.

於是, 整個\(D\)在\(v\)上的投影長度可以打包表示為:\(Xv\), 其中, \(X\)是一個\(m \times d\)的矩陣, 每一行是一條記錄, \(m\)是\(D\)中的記錄總數目. 在資料預處理時, 我們先將\(X\)每一列的均值變為0: 先算出每一列的均值, 得到均值向量\(\mu\), 然後從每一條記錄\(x_i\)中減去\(\mu\): \(x_i \gets x_i - \mu\). 最後用這些預處理後的\(x_i\)組成\(X\).
現在, 我們來計算\(D\)在\(v\)上的資訊量, 即所有資料在\(v\)上的投影長度的方差:
\[ \mu (X, v) = 0 \]
\[ info(D, v) = \sigma^2(X, v) = \frac 1m \sum_{i=1}^m (v^Tx_i - \mu)^2 = \frac 1m (Xv)^T Xv = \frac 1m v^T X^T X v \]
仔細看\(X^T X\)這個東西, 因為做過均值化處理, \(\frac 1m X^T X\), 成為了原資料集\(D\)的協方差矩陣, 用\(C\)表示. 所以
\[ info(D, v) = \sigma^2(X, v) = v^T C v \]
這就是我們需要最大化的目標函式. 不過, 再回想一下, 我們之前為了方便計算還加了一個條件進來: \(v\)是一個單位向量, 即\(v^Tv = 1\). 把這個條件也加到目標函式裡去:
\[ f(v) = v^T C v - \lambda (v^T v - 1) \]
所以, 這才是我們最終需要優化的目標函式.
now, 求使\(f(v)\)最大的\(v\). \(f(v)\)取得條件極值的必要條件為:
(這個向量函式求偏導的過程類似於神經網路BP演算法求偏導過程, 以後在另一篇文章單獨推導.)
\[ \frac {\partial f}{\partial v} = 2Cv - 2\lambda v = 0 \]
\[ Cv = \lambda v \]
所以, \(v\)為\(C\)的特徵向量. 它儲存的資訊量為:
\[ info(D, v) = v^TCv = v^T \lambda v = \lambda v^Tv = \lambda \]
於是, 奇蹟就這麼出現了: 資訊量儲存能力最大的基向量一定是\(D\)的協方差矩陣的特徵向量, 並且這個特徵向量儲存的資訊量就是它對應的特徵值.

接下來的戲碼你們應該都知道了: 用單位正交陣將\(C\)對角化(\(C\)是對稱矩陣, 天生如此)；特徵值降序排列, 以排名前\(p\)個特徵值對應的特徵向量作為新的基集. (這個做法看起來很自然, 但若細細思量, 會發現這一步是PCA演算法裡水最深的一步, 至少我現在還沒真正理解為何要這麼做, 聽qw學長說要用什麼Rayleigh商).

剩下的問題, 比如降維後損失了多少資訊, 也很明白了, 就不多講了.