1 PCA

主成分分析法，一般用於資料降維。WHY?
影象中相鄰的畫素高度相關，輸入資料是有一定冗餘的。具體來說，假如我們正在訓練的16x16灰度值影象，記為一個256維向量 x∈ℜ256，其中特徵值 xj對應每個畫素的亮度值。由於相鄰畫素間的相關性，PCA演算法可以將輸入向量轉換為一個維數低很多的近似向量，而且誤差非常小。

1.1 PCA例項

資料：

這些資料已經進行了預處理，使得每個特徵x1 和 x2 具有相同的均值（零）和方差。PCA演算法將尋找一個低維空間來投影我們的資料。從下圖中可以看出，u1 是資料變化的主方向，而 u2是次方向。

也就是說，資料在u1方向上的變化要比在 u

2方向上大。為更形式化地找出方向 u1和u2，我們首先計算出矩陣Σ，如下所示：

Σ=1mm∑i=1(x(i))(x(i))T.
假設x的均值為零，那麼Σ就是x的協方差矩陣。可以證明，資料變化的主方向u1就是協方差矩陣Σ的主特徵向量，而 u2 是次特徵向量。
先計算出協方差矩陣Σ的特徵向量，按列排放，而組成矩陣U：

U=[|||u1u2⋯un|||]
此處，u1是主特徵向量（對應最大的特徵值），u2是次特徵向量。以此類推，另記 λ1,λ2,…,λn 為相應的特徵值。

在本例中，向量 u1 和u2構成了一個新基，可以用來表示資料。令 x∈ℜ2為訓練樣本，那麼 uT1x 就是樣本點 x

在維度u1上的投影的長度（幅值）。同樣的，uT2x是 x投影到u2維度上的幅值。

1.2 旋轉資料

可以把x用(u1,u2)基表達為：
xrot=UTx=[uT1xuT2x]
（下標“rot”來源於單詞“rotation”，意指這是原資料經過旋轉（也可以說成對映）後得到的結果）。
對資料集中的每個樣本 i分別進行旋轉： x(i)rot=UTx(i)for every i，然後把變換後的資料 xrot顯示在座標圖上，可得：

這就是把訓練資料集旋轉到 u1，u2 基後的結果。一般而言，運算 UTx表示旋轉到基 u1,u2,...,un 之上的訓練資料。矩陣 U有正交性，即滿足 U

TU=UUT=I，所以若想將旋轉後的向量xrot還原為原始資料x，將其左乘矩陣U即可：x=Uxrot , 驗算一下： Uxrot=UUTx=x.

1.3 資料降維

資料的主方向就是旋轉資料的第一維 xrot,1 。因此，若想把這資料降到一維，可令：

˜x(i)=x(i)rot,1=uT1x(i)∈ℜ.
更一般的，假如想把資料 x∈ℜn降到 k 維表示 ˜x∈ℜk（令 k<n ）,只需選取xrot的前 k個成分，分別對應前k個數據變化的主方向。

PCA的另外一種解釋是：xrot是一個 n維向量，其中前幾個成分可能比較大（例如，上例中大部分樣本第一個成分 x(i)rot,1=uT1x(i)的取值相對較大），而後面成分可能會比較小（例如，上例中大部分樣本的 x(i)rot,2=uT2x(i) 較小）。

PCA演算法做的其實就是丟棄xrot中後面（取值較小）的成分，就是將這些成分的值近似為零。具體的說，設 ˜x 是 xrot的近似表示，那麼將 xrot 除了前k個成分外，其餘全賦值為零，就得到：

˜x=[xrot,1⋮xrot,k0⋮0]≈[xrot,1⋮xrot,kxrot,k+1⋮xrot,n]=xrot
在本例中，可得 \textstyle \tilde{x} 的點圖如下（取 \textstyle n=2, k=1 ）：

然而，由於上面 \textstyle \tilde{x} 的後\textstyle n-k項均為零，沒必要把這些零項保留下來。所以，我們僅用前 \textstyle k 個（非零）成分來定義 \textstyle k 維向量 \textstyle \tilde{x} 。

這也解釋了我們為什麼會以 \textstyle u_1, u_2, \ldots, u_n 為基來表示資料：要決定保留哪些成分變得很簡單，只需取前 \textstyle k 個成分即可。這時也可以說，我們“保留了前 \textstyle k 個PCA（主）成分”。

1.4 還原近似資料

給定 \textstyle \tilde{x} ，我們應如何還原原始資料 \textstyle x 呢？
只需 \textstyle x = U x_{\rm rot} 即可，我們把 \textstyle \tilde{x} 看作將 \textstyle x_{\rm rot} 的最後 \textstyle n-k 個元素被置0所得的近似表示，因此如果給定 \textstyle \tilde{x} \in \Re^k ，可以通過在其末尾新增 \textstyle n-k 個0來得到對 \textstyle x_{\rm rot} \in \Re^n 的近似，最後，左乘 \textstyle U 便可近似還原出原資料 \textstyle x 。具體來說，計算如下：
\hat{x} = U \begin{bmatrix} \tilde{x}_1 \\ \vdots \\ \tilde{x}_k \\ 0 \\ \vdots \\ 0 \end{bmatrix} = \sum_{i=1}^k u_i \tilde{x}_i.
上面的等式基於先前對 \textstyle U 的定義。在實現時，我們實際上並不先給 \textstyle \tilde{x} 填0然後再左乘 \textstyle U ，因為這意味著大量的乘0運算。我們可用 \textstyle \tilde{x} \in \Re^k 來與 \textstyle U 的前 \textstyle k 列相乘，即上式中最右項，來達到同樣的目的。將該演算法應用於本例中的資料集，可得如下關於重構資料 \textstyle \hat{x} 的點圖：

由圖可見，我們得到的是對原始資料集的一維近似重構。

在訓練自動編碼器或其它無監督特徵學習演算法時，演算法執行時間將依賴於輸入資料的維數。若用 \textstyle \tilde{x} \in \Re^k 取代 \textstyle x 作為輸入資料，那麼演算法就可使用低維資料進行訓練，執行速度將顯著加快。對於很多資料集來說，低維表徵量 \textstyle \tilde{x} 是原資料集的極佳近似，因此在這些場合使用PCA是很合適的，它引入的近似誤差的很小，卻可顯著地提高你演算法的執行速度。

1.5 選擇主成分個數

我們該如何選擇 \textstyle k ，即保留多少個PCA主成分？在上面這個簡單的二維實驗中，保留第一個成分看起來是自然的選擇。對於高維資料來說，做這個決定就沒那麼簡單：如果 \textstyle k 過大，資料壓縮率不高，在極限情況 \textstyle k=n 時，等於是在使用原始資料（只是旋轉投射到了不同的基）；相反地，如果 \textstyle k 過小，那資料的近似誤差太太。

決定 \textstyle k 值時，我們通常會考慮不同 \textstyle k 值可保留的方差百分比。具體來說，如果

相關推薦