深度學習的本質上是將資料從低維空間對映到高維空間，但是並不僅僅有這個作用，拿全連線層舉例，假設輸入資料500維，可以對映到1000維做一個升維操作，也可以降維到256維，但往往經過一個完整的神經網路後，可以將資料對映到高維空間，這樣做的目的就是讓資料變得線性可分。因為線性分類器是非常簡單的分類器，這樣資料對映到高維空間後就能較為容易的分開。其他SVM、核方法、等等也有類似的基本思想。

但是在早期機器學習的研究中涉及到很多降維的方法，例如PCA、CCA、LDA等等，這些降維操作目的是從高維資料中選取較為重要的幾個維度作為新的特徵維度，這樣做的好處是可以去除噪聲。但是這樣看來好像與深度學習等方法的方向完全相反。

其實方法確實不同，但是應用場景不同，早期機器學習的研究過程中，資料量很小，並且還在高維空間，這樣就會有很多的噪聲冗餘成分，這時候就需要做降維操作。但是現在應用深度學習可以擁有足夠大的資料量，這樣可以將資料對映到高維空間使之變的線性可分，運用到高維空間中線性分類器的優勢。

僅為本人的一點思考，歡迎討論。