六、PCA主成分分析（降維）

1、用處

• 資料壓縮（Data Compression）,使程式執行更快
• 視覺化資料，例如3D-->2D等
• ……

2、2D–>1D，nD–>kD

• 如下圖所示，所有資料點可以投影到一條直線，是投影距離的平方和（投影誤差）最小
  
• 注意資料需要歸一化處理
• 思路是找1個向量u,所有資料投影到上面使投影距離最小
• 那麼nD-->kD就是找k個向量，所有資料投影到上面使投影誤差最小
  
  • eg:3D–>2D,2個向量就代表一個平面了，所有點投影到這個平面的投影誤差最小即可

3、主成分分析PCA與線性迴歸的區別

• 線性迴歸是找x
  與y的關係，然後用於預測y
• PCA是找一個投影面，最小化data到這個投影面的投影誤差

4、PCA降維過程

• 資料預處理（均值歸一化）

  • 公式：
  • 就是減去對應feature的均值，然後除以對應特徵的標準差（也可以是最大值-最小值）
  • 實現程式碼：
    

     # 歸一化資料
    def featureNormalize(X):
        '''（每一個數據-當前列的均值）/當前列的標準差'''
        n = X.shape[1]
        mu = np.zeros((1,n));
        sigma = np.zeros((1,n))
    
        mu = np.mean(X,axis=0)
        sigma = np.std(X,axis=0
     
    )
        for i in range(n):
            X[:,i] = (X[:,i]-mu[i])/sigma[i]
        return X,mu,sigma

• 計算協方差矩陣Σ（Covariance Matrix）：
  
  • 注意這裡的Σ和求和符號不同
  • 協方差矩陣對稱正定（不理解正定的看看線代）
  • 大小為nxn,n為feature的維度
  • 實現程式碼：
    
Sigma = np.dot(np.transpose(X_norm),X_norm)/m # 求Sigma

• 計算Σ的特徵值和特徵向量
  
  • 可以是用svd奇異值分解函式：U,S,V = svd(Σ)
  • 返回的是與Σ同樣大小的對角陣S（由Σ
    的特徵值組成）[注意：matlab中函式返回的是對角陣，在python中返回的是一個向量，節省空間]
  • 還有兩個**酉矩陣**U和V，且
  • 
  • 注意：svd函式求出的S是按特徵值降序排列的，若不是使用svd,需要按特徵值大小重新排列U

• 降維

  • 選取U中的前K列（假設要降為K維）
  • 
  • Z就是對應降維之後的資料
  • 實現程式碼：
    

     # 對映資料
    def projectData(X_norm,U,K):
        Z = np.zeros((X_norm.shape[0],K))
    
        U_reduce = U[:,0:K]          # 取前K個
        Z = np.dot(X_norm,U_reduce) 
        return Z

• 過程總結：
  
  • Sigma = X'*X/m
  • U,S,V = svd(Sigma)
  • Ureduce = U[:,0:k]
  • Z = Ureduce'*x

5、資料恢復

• 因為：
• 所以： （注意這裡是X的近似值）
• 又因為Ureduce為正定矩陣，【正定矩陣滿足：，所以：】，所以這裡：
• 
• 實現程式碼：

    # 恢復資料 
    def recoverData(Z,U,K):
        X_rec = np.zeros((Z.shape[0],U.shape[0]))
        U_recude = U[:,0:K]
        X_rec = np.dot(Z,np.transpose(U_recude))  # 還原資料（近似）
        return X_rec

6、主成分個數的選擇（即要降的維度）

• 如何選擇
  
  • 投影誤差（project error）：
  • 總變差（total variation）:
  • 若誤差率（error ratio）：，則稱99%保留差異性
  • 誤差率一般取1%，5%，10%等
• 如何實現
  
  • 若是一個個試的話代價太大
  • 之前U,S,V = svd(Sigma),我們得到了S，這裡誤差率error ratio:
    
  • 可以一點點增加K嘗試。

7、使用建議

• 不要使用PCA去解決過擬合問題Overfitting，還是使用正則化的方法（如果保留了很高的差異性還是可以的）
• 只有在原資料上有好的結果，但是執行很慢，才考慮使用PCA

8、執行結果

• 2維資料降為1維
  
  • 要投影的方向
    
  • 2D降為1D及對應關係
    
• 人臉資料降維
  
  • 原始資料
    
  • 視覺化部分U矩陣資訊
    
  • 恢復資料
    

• 匯入需要的包：

#-*- coding: utf-8 -*-
# Author:bob
# Date:2016.12.22
import numpy as np
from matplotlib import pyplot as plt
from scipy import io as spio
from sklearn.decomposition import pca
from sklearn.preprocessing import StandardScaler

• 歸一化資料

    '''歸一化資料並作圖'''
    scaler = StandardScaler()
    scaler.fit(X)
    x_train = scaler.transform(X)

• 使用PCA模型擬合數據，並降維
  
  • n_components對應要將的維度

    '''擬合數據'''
    K=1 # 要降的維度
    model = pca.PCA(n_components=K).fit(x_train)   # 擬合數據，n_components定義要降的維度
    Z = model.transform(x_train)    # transform就會執行降維操作

• 資料恢復
  
  • model.components_會得到降維使用的U矩陣

    '''資料恢復並作圖'''
    Ureduce = model.components_     # 得到降維用的Ureduce
    x_rec = np.dot(Z,Ureduce)       # 資料恢復