• • 資料壓縮
    • 二維降到一維
    • 三維降到二維
  • 視覺化資料
  • 主成分分析（PCA）
    • PCA的執行過程2D -> 1D
  • PCA和線性迴歸的關係
  • 資料預處理
  • PCA演算法
  • 選擇主成分的數量k
    • 最小化平均平方對映誤差
    • 使用PCA演算法時尋找合適k值的方法

資料壓縮

我們希望使用降維的一個主要原因是資料壓縮。資料壓縮不僅減少了計算機記憶體和硬碟空間的佔用，它還能給演算法提速。

如果你有上百或者上千的特徵變數，很容易就會忘記你到底有什麼特徵變數，而且有時候可能有幾個不同的工程師團隊。這樣就很難搞清哪個隊給了你什麼特徵變數。實際上得到這樣冗餘的特徵變數並不難。

二維降到一維

降低維度後，得到一條線，基本所有資料對映到這條線上。之後可以直接測量這條線上每個樣本的位置。將這個新特徵叫做 z1 $$

z 1 $z_1$。

在之前如果想要表示一個樣本點，需要一個二維向量($x_1$, x2 $x_2$

$x_2$)，現在只需用一個一維向量$z_1$來表示這個樣本點。

三維降到二維

在更典型的降維例子中，我們可能有1000維的資料，我們可能想降低到100維

圖上這樣的資料集，我有一個樣本$x^{(i)}$的集合，$x^{(i)}$是一個三維實數的點，所以我的樣本是三維的：

$$x^{(i)} \in R^3$$

實際上，這些樣本點，差不多都處於同一平面上。降維在這裡的作用，就是把所有的資料，都投影到一個二維的平面內。

所以我們現在只需要兩個數:$z_1$和$z_2$來表示點在平面上的位置即可：

視覺化資料

假如我們已經收集了大量的有關全世界不同國家的統計資料集：第一個特徵$x_1$是國家的國內生產總值；第二個特徵$x_2$是一個百分比，表示人均佔有的GDP；第三個特徵$x_3$是人類發展指數；第四個特徵$x_4$是預期壽命；…直到$x_{50}$

為了使得我們能更好地來理解資料，我們需要對資料進行視覺化展示。這裡我們有50個特徵，但繪製一幅50維度的圖是異常困難的，因此我們需要對資料進行降維，然後再視覺化。

具體做法如下：

• 我們用$z_1$和$z_2$這兩個數來總結50個維度的資料，我們可以使用這兩個數來繪製出這些國家的二維圖。

• 在降維處理時，我們用$z_1$來表示那些象徵著國家整體情況的資料，例如”國家總面積”、”國家總體經濟水平”等；用$z_2$來表示象徵著人均情況的資料，例如”人均GDP”，”人均幸福感”等。

降維處理之後，將資料按照這兩個維度展示如下：

在圖中，右側的點，象徵著國家整體經濟比較好的國家；上方的點，象徵著人均經濟比較好、人均幸福感較高、人均壽命較長…的國家。

主成分分析（PCA）

對於降維問題來說，目前最流行最常用的演算法是主成分分析法(Principal Componet Analysis, PCA）。

PCA的執行過程2D -> 1D

如果我們將資料從二維降到一維的話，我們需要試著尋找一個向量$u^{(i)}$，該向量屬於n維空間中的向量（在這個例子中是二維的），我們將尋找一個對資料進行投影的方向，使得投影誤差能夠最小（在這個例子裡，我們把PCA尋找到這個向量記做$u^{(1)}$）：

另外需要說明的時無論PCA給出的是這個$u^{(1)}$是正還是負都沒關係。因為無論給的是正的還是負的$u^{(1)}$它對應的直線都是同一條，也就是我將投影的方向。

因此PCA做的就是：尋找一組k維向量(一條直線、或者平面、或者諸如此類等等)對資料進行投影，來最小化正交投影誤差。

PCA和線性迴歸的關係

不同點一：

如果我們做線性迴歸，我們做的是在給定某個輸入特徵x的情況下預測某個變數y的數值。因此對於線性迴歸，我們想做的是擬合一條直線，來最小化點和直線之間的平方誤差：

所以我們要最小化的是，上圖中藍線幅值的平方。注意我畫的這些藍色的垂直線，這是垂直距離。它是某個點與通過假設的得到的其預測值之間的距離。

與此相反，PCA要做的是最小化這些樣本點與直線的最短距離(直角距離)：

不同點二：

更一般的是，做線性迴歸的時候，有一個特別的變數y作為我們即將預測的值，線性迴歸所要做的就是用x的所有的值來預測y。

而在PCA中，沒有這麼一個特殊的變數y是我們要預測的。我們所擁有的是特徵x1,x2,…,xn，所有的這些特徵都是被同樣地對待。

因此，PCA不是線性迴歸。儘管有一定程度的相似性，使得它們看上去是有關聯的，但它們實際上是非常不同的演算法。

資料預處理

在使用PCA之前，我們通常會有一個數據預處理的過程。

拿到某組有m個無標籤樣本的訓練集，一般先進行均值歸一化(mean normalization)。這一步很重要。然後還可以進行特徵縮放(feature scaling)，這根據你的資料而定。

這跟我們之前在監督學習中提到的均值歸一和特徵縮放是一樣的。

PCA演算法

假如說我們想要把資料從n維降低到k維，我們首先要做的是計算出下面這個協方差矩陣(通常用∑來表示)：

$$∑=\frac{1}{m}\sum_{i=1}^n(x^{(i)})(x^{(i)})^T$$

計算出這個協方差矩陣後，假如我們把它存為Octave中的一個名為Sigma的變數，我們需要做的是計算出Sigma矩陣的特徵向量(eigenvectors)。

在Octave中，你可以使用如下命令來實現這一功能：

[U,S,V] = svd(Sigma);

這個協方差矩陣Sigma應該是一個n×n的矩陣，通過定義可以發現這是一個n×1的向量，和它自身的轉置（一個1×n的向量）相乘得到的結果，這個結果自然是一個n×n的矩陣。

然後把這n個n×n的矩陣加起來，當然還是n×n矩陣。

然後svd將輸出三個矩陣，分別是U，S，V。你真正需要的是U矩陣。

U 矩陣也是一個n×n矩陣：

如果我們想將資料的維度從n降低到k的話，我們只需要提取前k列向量。這樣我們就得到了$u^{(1)}$到$u^{(k)}$，也就是我們用來投影資料的k個方向。

我們取出U矩陣的前k列得到一個新的，由$u^{(1)}$到$u^{(k)}$組成的矩陣$U_{reduce}$：

Ureduce=⎡⎣⎢⎢⎢⎢⎢⎢||u(1)||||u(2)||||u(3)||

相關推薦

Andrew Ng 機器學習筆記 13 ：降維(dimensionality reduction)

資料壓縮 二維降到一維 三維降到二維 視覺化資料 主成分分析（PCA） PCA的執行過程2D -&

Andrew Ng 機器學習筆記 16 ：照片OCR

OCR的大概步驟 機器學習流水線（machine learning pipeline） 滑動窗體 上限分析 照片OCR是指照片光學字元識別（photo optical ch

Andrew Ng 機器學習筆記 15 ：大資料集梯度下降

隨機梯度下降 隨機梯度下降原理 小批量梯度下降 小批量梯度下降vs隨機梯度下降 隨機梯度下降的收

Andrew Ng 機器學習筆記 14 ：異常檢測

異常檢測問題 高斯分佈 高斯分佈中，μ和σ的關係 異常檢測的具體演算法 異常檢測演算法步驟總結 異常檢測 VS 監督學習 對不服從高斯分佈的資料進行

Andrew Ng 機器學習筆記 12 ：聚類

K均值 (K-means)演算法 K-Means的規範化描述 異常情況 K均值的代價函式 隨機初始化 肘部法則 (Elbow Method)

Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine)

構建支援向量機 1.替換邏輯迴歸函式 2.去除多餘的常數項 1/m 3.正則化項係數的處理 大間距分類器 SVM決

Andrew Ng 機器學習筆記 10 ：評價學習演算法

評估假設函式 模型選擇 正則化引數λ對假設函式的影響 λ 在訓練集上的變化 λ在交叉驗證集上的變化 學習曲線(Lear

Andrew Ng 機器學習筆記 09 ：神經網路

非線性假設 神經網路邏輯單元 激勵函式 輸入層，輸出層，隱藏層 前向傳播(forward propagation)的向量化實現 AND、OR、NOT、XNOR的實

Andrew Ng 機器學習筆記 07 ：Octave/Matlab 使用說明

數學運算 邏輯運算 賦值運算 矩陣的表示 繪製直方圖 獲取矩陣的尺寸 載入檔案 清空變數 擷取矩陣部分元素

斯坦福Andrew Ng---機器學習筆記（二）：Logistic Regression(邏輯迴歸)

內容提要 這篇部落格的主要內容有： - 介紹欠擬合和過擬合的概念 - 從概率的角度解釋上一篇部落格中評價函式J(θ)” role=”presentation” style=”position: relative;”>J(θ)J(θ)為什麼用最

Andrew NG 機器學習 筆記-week11-應用例項：圖片文字識別（Application Example：Photo OCR）

1、問題描述和流程圖（Problem Description and Pipeline） photo OCR：photo Optical Character Recognition 影象文字識別，要求從一張給定的圖片中識別文字。 為了完成這樣的工作，需

Andrew Ng機器學習筆記+Weka相關算法實現（四）SVM和原始對偶問題

優化問題 坐標 出了 變量 addclass fun ber 找到 線性 這篇博客主要解說了Ng的課第六、七個視頻，涉及到的內容包含，函數間隔和幾何間隔、最優間隔分類器 （ Optimal Margin Classifier）、原始/對偶問題 （ Pr

Andrew Ng機器學習筆記2——梯度下降法and最小二乘擬合

今天正式開始學習機器學習的演算法，老師首先舉了一個例項：已知某地區的房屋面積與價格的一個數據集，那麼如何預測給定房屋面積的價格呢？我們大部分人可以想到的就是將畫出房屋面積與價格的散點圖，然後擬合出價格關於面積的曲線，那麼對於一個已知的房屋面積，就可以在擬合的曲線上得到預測的

Andrew Ng機器學習筆記ex4 神經網路學習

nnCostFunction.m function [J grad] = nnCostFunction(nn_params, ... input_layer_size, ...

Andrew Ng機器學習筆記+Weka相關演算法實現（三）神經網路和引數含義

神經網路是一種非常重要的機器學習模型，人們從生物學中大腦神經元連線方式得到啟發，提出了神經網路的概念，它從資訊處理角度對人腦神經元網路進行抽象， 建立某種簡單模型，按不同的連線方式組成不同的網路。 最近幾年深度學習大熱,尤其是阿爾法圍棋（AlphaGo）戰勝李

非監督學習之混合高斯模型和EM演算法——Andrew Ng機器學習筆記（十）

0、內容提要 這篇博文主要介紹： - 混合高斯模型（mixture of Gaussians model） - EM演算法（Expectation-Maximization algorithm） 1、引入 假設給定一個訓練集{x(1),...,x(m)

Andrew Ng 機器學習筆記（二）

監督學習的應用：梯度下降 梯度下降演算法思想： 先選取一個初始點，他可能是0向量，也可能是個隨機點。在這裡選擇圖中這個+點吧。 然後請想象一下：如果把這個三點陣圖當成一個小山公園，而你整站在這個+

學習理論之模型選擇——Andrew Ng機器學習筆記（八）

內容提要 這篇部落格主要的內容有： 1. 模型選擇 2. 貝葉斯統計和規則化（Bayesian statistics and regularization） 最為核心的就是模型的選擇，雖然沒有那麼多複雜的公式，但是，他提供了更加巨集觀的指導，而且很多時候

非監督學習之k-means聚類演算法——Andrew Ng機器學習筆記（九）

寫在前面的話 在聚類問題中，我們給定一個訓練集，演算法根據某種策略將訓練集分成若干類。在監督式學習中，訓練集中每一個數據都有一個標籤，但是在分類問題中沒有，所以類似的我們可以將聚類演算法稱之為非監督式學習演算法。這兩種演算法最大的區別還在於：監督式學習有正確答

Andrew Ng機器學習筆記+Weka相關演算法實現（四）SVM和原始對偶問題

這篇部落格主要講解了Ng的課第六、七個視訊，涉及到的內容包括，函式間隔和幾何間隔、最優間隔分類器 （ Optimal Margin Classifier）、原始/對偶問題 （ Primal/Dual Problem）、 SVM 的對偶問題幾個部分。 函式間