第5章-維度歸約

原文參考
https://onlinecourses.science.psu.edu/stat857/node/11
http://www.doc88.com/p-315762247283.html
http://wenku.baidu.com/link?url=OrBkfJFwZ_l8soN6CRE2B1KAI-988Z0wrzG_K59W39l7ycRTNd6xeH6hFUnRugEywPz1TUsvclcjpeiS8JLJsnd97GrQdHeG4r70BtSTIsS
https://www.cs.nyu.edu/~roweis/papers/llejmlr.pdf
http://arxiv.org/pdf/cs/0212008v1.pdf

多元統計分析
等…

本章主要學習目標：

在第4章中，我們瞭解了壓縮變數的演算法，接下來我們熟悉一下高維資料的降維方法。

傳統的降維方法包括PCA、LDA，流行學習算包括LLE、ISOMAP、LE、LTSA，如下圖：

7.1主成分分析PCA

首先我們定義，輸入矩陣X是n*p維的。行代表樣本，列代表變數。且X是中心化的，每一列去掉均值。

7.1.1 奇異值分解(SVD)

由現行代數的定理可知，如果一個矩陣A是對稱矩陣，那麼其一定可以正交對角化。即，存在一個正交矩陣P和一個對角矩陣D使得
$A=PDP^{-1}=PDP^T$

那麼，A不是對稱矩陣的時候呢？
這時就引出了奇異值分解，且任何矩陣都能進行奇異值分解。

假設A是m*n維矩陣，那麼 $A^TA$ 一定是對稱的，可正交對角化。假設v是 $A^TA$ 的單位正交基構成的特徵向量、λ是對應的特徵值，則有：
$A^TAv=λv$
$||Av||^2=v^TA^TAv=v^Tλv=λ(v是由單位正交基構成的)$
||Av||=||Av||2‾‾‾‾‾√=λ√=σ

$||Av||=\sqrt{||Av||^2}=\sqrt{λ}=σ$
定義

σ=λ√ $σ=\sqrt{λ}$ 為矩陣A的奇異值，且奇異值是向量Av的長度。

我們令向量 $u=\frac{Av}{||Av||}=\frac{Av}{σ}$
則我們得到，Av=σu

同理，對於n×p 輸入矩陣X，可以分解為 $X=UDV^T$

7.1.2 主成分

主成分分析是線性降維的主要方法：

樣本X的協方差矩陣，為
$S=X^TX/N$
(註明：因為X已經進行了中心化的處理，所以協方差矩陣可以如上式表示)

如果對 $X^TX$ 進行奇異值變換，得
$X^TX=VDU^TUDV^T=VD^2V^T$

向量v稱為X的(principal component directions)主成分方向座標基（v已經單位化），如果將X投影到該座標基上面，就得到了對應的主成分分量。

綜上，我們容易得出 $z_j=X_j*v_j=u_j*d_j$
$u_j$ 是 $x_j$ 的行向量沿著 $v_j$ 向量方向上投影得到的，投影的尺度通過 $d_j$ 來控制.

所以，

X的主成分為 $z_j=u_j*d_j，j=1,...,p$
主成分應該是按照其方差由大到小排序的，根據下面公式可知，按照奇異值的大小排序即得可得到我們想要的排序.
$var(z)=\frac{1}{N}*(z-0)^2$
$var(z)=\frac{1}{N}(u*d)^2=\frac{1}{N}d^Tu^Tud=\frac{d^2}{N}$
(因為已經中心化，所以均值為零)

7.1.3 主成分迴歸-principal components regression (PCR).

前面我們講的PCA，是一種無監督學習方法，而PCR就是主成分與線性迴歸的結合，假設提取了M個主成分 $z_1,...,z_m$ ，然後求

$y=β_1z_1+...+...+β_mz_m$

有時候，PCR的效果並不一定比第6章講的方法要好，只不過PCA是一個很好的降維方法，在PCA的基礎上衍生出來的PCR也是對高維樣進行迴歸的一個重要的參考方向。

7.1.4 偏最小二乘迴歸-partial least squares (PLS).

偏最小二乘迴歸結合了多元線性迴歸、主成分分析以及典型相關分析。

偏最小二乘迴歸與主成分迴歸的不同之處在於，主成分迴歸產生的權重矩陣反映的是預測變數X之間的協方差，而偏最小二乘迴歸產生的權重矩陣反映的是預測變數X與響應變數Y之間的協方差。

之所以分解矩陣變為X與Y的協方差矩陣，是因為，主成分分析中，會忽略掉那些可能對Y起決定性作用的、但是與其他變數相關性又很小的變數。且主成分只能很好的解釋了X，但是並不能保證一定與Y有關。相對的，PLS中分解得到的成分(潛變數)，是抽取了與Y相關的X的主要資訊。這點上，使得PLS可能比PCR得到更準確的迴歸。

(1) 典型相關分析

典型相關分析(Canonical Correlation Analysis)，是考察一組X變數和一組Y變數(兩個及以上Y變數)之間的線性關係的方法。

1936年，Hotelling提出典型相關分析。考慮兩組變數的線性組合, 並研究它們之間的相關係數p(T,U).在所有的線性組合中, 找一對相關係數最大的線性組合, 用這個組合的單相關係數來表示兩組變數的相關性, 叫做兩組變數的典型相關係數, 而這兩個線性組合叫做一對典型變數。在兩組多變數的情形下, 需要用若干對典型變數才能完全反映出它們之間的相關性。下一步, 再在兩組變數的與t1,u1不相關的線性組合中, 找一對相關係數最大的線性組合, 它就是第二對典型變數, 而且p(t2,u2)就是第二個典型相關係數。這樣下去, 可以得到若干對典型變數, 從而提取出兩組變數間的全部資訊。

令，典型變數可被表示為如下形式：
$t=a_1x_1+...+a_mx_m;$
$u=b_1x_1+...+b_nx_n;$

然後，我們可以求解t,u的相關係數: Cor(t,u)
最後，用線性規劃的方法求解使得Cor(t,u)最大的引數a和b。

(2) 典型相關的思想下，如何求解PLS：

假設要對，因變數 $Y=Y_1,...,Y_p$ ，
自變數 $X=X_1,...,X_m$ ，的樣本物件進行建模。

PLS的做法是：

首先，在自變數集中提取第一成分 $T_1$
$T_1=w_{11}X_1+...+w_{1m}X_m$
同時，也在因變數集中提取第一成分

7.1主成分分析PCA

第5章-維度歸約

HTML 第5章 Div+CSS布局技術

裴禮文數學分析中的典型問題與方法第5章級數練習

第5章 IP地址和子網劃分（2）_IP地址分類和NAT技術

第5章 IP地址和子網劃分（4）_超網合並網段

Python基礎教程之第5章條件, 循環和其它語句

轉載--編寫高質量代碼:改善Java程序的151個建議(第5章:數組和集合___建議65~69)

《.NET 設計規範》第 5 章：成員設計

第5章 css3文本

《Effective Java》第5章泛型

Django第5章: auth補充之用戶註冊,密碼找回

【Linux學習筆記】第5章 VIM工具

嵌入式入門篇 - 第5章 STM32新建工程及配置

第5章文件操作

《Think Python》第5章學習筆記

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之九（第5章總結）

C++ Primer Plus第六版編程練習---第5章循環和關系表達式

《Python從小白到大牛》第5章 Python編碼規範

第5章變量的更多內容

尚矽谷大數據技術之Linux第5章網絡配置和系統管理操作5.7克隆虛擬機

第5章-維度歸約

7.1主成分分析PCA

相關推薦