本文首先給出了七種演算法的一個資訊表，歸納了關於每個演算法可以調節的(超)引數、演算法主要目的等等，然後介紹了降維的一些基本概念，包括降維是什麼、為什麼要降維、降維可以解決維數災難等，然後分析可以從什麼樣的角度來降維，接著整理了這些演算法的具體流程。主要目錄如下:

• 1. 降維基本概念

• 2. 從什麼角度出發降維

• 3. 降維演算法

  • 3.1 主成分分析PCA

  • 3.2 多維縮放(MDS)

  • 3.3 線性判別分析(LDA)

  • 3.4 等度量對映(Isomap)

  • 3.5 區域性線性嵌入(LLE)

  • 3.6 t-SNE

  • 3.7 Deep Autoencoder Networks

• 4. 小結

這裡autoencoder是否去中心化個人覺得還是有點疑問，在處理影象資料的時候，會對輸入圖片做一個變到0均值的預處理，但是這個操作是針對一張樣本內減均值[1]，這裡的去中心化指的是針對某一維資料減均值，並不是一個概念。下面開始具體談談降維相關的內容。

1.降維基本概念

 而為什麼可以降維，這是因為資料有冗餘，要麼是一些沒有用的資訊，要麼是一些重複表達的資訊，例如一張512*512的圖只有中心100*100的區域內有非0值，剩下的區域就是沒有用的資訊，又或者一張圖是成中心對稱的，那麼對稱的部分資訊就重複了。正確降維後的資料一般保留了原始資料的大部分的重要資訊，它完全可以替代輸入去做一些其他的工作，從而很大程度上可以減少計算量。例如降到二維或者三維來視覺化。

2. 從什麼角度出發來降維

一般來說可以從兩個角度來考慮做資料降維，一種是直接提取特徵子集做特徵抽取，例如從512*512圖中只取中心部分，一種是通過線性/非線性的方式將原來高維空間變換到一個新的空間，這裡主要討論後面一種。後面一種的角度一般有兩種思路來實現[2]，一種是基於從高維空間對映到低維空間的projection方法，其中代表演算法就是PCA，而其他的LDA、Autoencoder也算是這種，主要目的就是學習或者算出一個矩陣變換W，用這個矩陣與高維資料相乘得到低維資料。另一種是基於流形學習的方法，流形學習的目的是找到高維空間樣本的低維描述，它假設在高維空間中資料會呈現一種有規律的低維流形排列，但是這種規律排列不能直接通過高維空間的歐式距離來衡量

，如下左圖所示，某兩點實際上的距離應該是下右圖展開後的距離。如果能夠有方法將高維空間中流形描述出來，那麼在降維的過程中就能夠保留這種空間關係，為了解決這個問題，流形學習假設高維空間的區域性區域仍然具有歐式空間的性質，即它們的距離可以通過歐式距離算出(Isomap)，或者某點座標能夠由臨近的節點線性組合算出(LLE)，從而可以獲得高維空間的一種關係，而這種關係能夠在低維空間中保留下來，從而基於這種關係表示來進行降維，因此流形學習可以用來壓縮資料、視覺化、獲取有效的距離矩陣等。

 3. 幾種降維方法流程

3.1 主成分分析PCA

又由於線性代數中對角化是通過求解特徵值與對應的特徵向量得到，因此可以推出PCA演算法流程(流程主要摘自周志華老師的《機器學習》一書，其中加入了目標和假設用於對比後面的演算法。周老師書中是基於拉格朗日乘子法推匯出來，本質上而言與[3]都是一樣的，這裡很推薦這篇講PCA數學原理的部落格[3])。

 此外，PCA還有很多變種kernel PCA, probabilistic PCA等等，本文暫時只考慮最簡單的PCA版本。

3.2 多維縮放(MDS)

MDS的目標是在降維的過程中將資料的dissimilarity(差異性)保持下來，也可以理解降維讓高維空間中的距離關係與低維空間中距離關係保持不變。這裡的距離用矩陣表示，N個樣本的兩

3.3 線性判別分析(LDA)

LDA最開始是作為解決二分類問題由Fisher在1936年提出，由於計算過程實際上對資料做了降維處理，因此也可用作監督線性降維。它通過將高維空間資料投影到低維空間，在低維空間中確定每個樣本所屬的類，這裡考慮K個類的情況。它的目標是將樣本能儘可能正確的分成K類，體現為同類樣本投影點儘可能近，不同類樣本點儘可能遠，這點跟PCA就不一樣，PCA是希望所有樣本在某一個維數上儘可能分開，LDA的低維投影可能會重疊，但是PCA就不希望投影點重疊。它採用的降維思路跟PCA是一樣的，都是通過矩陣乘法來進行線性降維，投影點是

 

3.4 等度量對映(Isomap)

上面提到的MDS只是對資料降維，它需要已知高維空間中的距離關係，它並不能反應出高維資料本身潛在的流形，但是可以結合流形學習的基本思想和MDS來進行降維[5]。也就是高維空間的區域性空間的距離可以用歐式距離算出，針對MDS的距離矩陣A，某兩個相鄰的點之間距離

3.5 區域性線性嵌入(LLE)

 

3.6 t-SNE

t-SNE也是一種將高維資料降維到二維或者三維空間的方法，它是2008年由Maaten提出[6]，基於2002年Hinton提出的隨機近鄰嵌入(StochasticNeighbor Embedding, SNE)方法的改進。

 

 

需要注意的是，這個演算法將低維資料作為變數進行迭代，所以如果需要加入插入新的資料，是沒有辦法直接對新資料進行操作，而是要把新資料加到原始資料中再重新算一遍，因此T-sne主要的功能還是視覺化。

3.7 DeepAutoencoder Networks

Autoencoder是神經網路的一種，它是一種無監督演算法，可以用來降維也能用來從資料中自動學習某種特徵，這個神經網路的原理是輸入一組值，經過網路之後能夠獲得一組輸出，這組輸出的值儘可能的跟輸入的值大小一致。網路由全連線層組成，每層每個節點都跟上一層的所有節點連線。Autoencoder的結構如下圖4所示，encoder網路是正常的神經網路前向傳播

 

然而在實際的實現網路過程中，整個網路實際上層數只是圖4中的一半，即4層網路，2000-1000-500-30的全連線結構。因為權重引數實際上在encoder和decoder中是相同的，enocoder過程是上一層的節點值乘以權重得到這一層的節點值，而decoder是這一層節點值與權重矩陣的轉置相乘得到上一層的節點值。下圖[7]更加清晰的展示了每一層實際的結構，包括一次前向傳播和後向傳播，因此可以拿最頂層的值作為網路的降維輸出來進行其他的分析，例如視覺化，或者作為壓縮特徵使用。

06年的時候Hinton在science上發了一篇文章講如何用深度學習中的autoencoder網路來做降維[8]，主要是提出了先通過多層RBM來預訓練權重引數，用來解決autoencoder降維後的質量依賴初始化網路權重的問題，即主要目的是提出一種有效的初始化權重的方式。上面的表示式中沒有加入非線性變換，真實網路中每一層跟權重做矩陣乘法之後還需要加上非線性變換。

 

4.小結

本文主要重點放在演算法流程是什麼，每一步具體做了什麼，有的地方可能理論闡述還不夠清晰。但是有意思的是除了t-sne和autoencoder之外，其他的幾種降維演算法都是基於構造某個矩陣，然後對矩陣進行特徵值分解，得到相關的ZZ或者WW。Laplacian Eigenmaps拉普拉斯特徵對映沒有完整研究，但是看演算法最後也是選擇前d個最小非零特徵值，這個很有意思，就是數學功底不好，暫時想不通為什麼基於特徵值的效果這麼好。而比較一層的autoencoder和PCA，假設autoencoder的目標函式是最小化均方誤差，雖然autoencoder沒有PCA那麼強的約束(要求每一維正交)，但是autoencoder也許可以學到，因為本身基於最大化協方差的跡與最小均方差估計是等價的。幾種方法總是讓人感覺有著某些潛在的關聯，不知道是不是能夠提取出一種統一的模型能夠把降維這件事情給解決掉。

參考

引用：

1.Data Preprocessing

2.Dimension Reduction: A Guided Tour

3.PCA的數學原理

4.A Tutorial on Data Reduction Linear Discriminant Analysis (LDA)

5.manifold learning with applications to object recognition

5.Visualizing Data using t-SNE

7.A Tutorial on Deep Learning Part 2: Autoencoders, Convolutional Neural Networks and Recurrent Neural Networks

8.Reducing the Dimensionality of Data with Neural Networks

8.CS294A Lecture notes Sparse autoencoder