1. 問題

      線上性迴歸中，我們使用直線來擬合樣本點，尋找n維特徵向量X和輸出結果（或者叫做label）Y之間的線性關係。其中，。然而當Y也是多維時，或者說Y也有多個特徵時，我們希望分析出X和Y的關係。

      當然我們仍然可以使用迴歸的方法來分析，做法如下：

      假設，，那麼可以建立等式Y=AX如下

      其中，形式和線性迴歸一樣，需要訓練m次得到m個。

      這樣做的一個缺點是，Y中的每個特徵都與X的所有特徵關聯，Y中的特徵之間沒有什麼聯絡。

      我們想換一種思路來看這個問題，如果將X和Y都看成整體，考察這兩個整體之間的關係。我們將整體表示成X和Y各自特徵間的線性組合，也就是考察

      這樣的應用其實很多，舉個簡單的例子。我們想考察一個人解題能力X（解題速度，解題正確率）與他/她的閱讀能力Y（閱讀速度，理解程度）之間的關係，那麼形式化為：

      和

      然後使用Pearson相關係數

      來度量u和v的關係，我們期望尋求一組最優的解a和b，使得Corr(u, v)最大，這樣得到的a和b就是使得u和v就有最大關聯的權重。

      到這裡，基本上介紹了典型相關分析的目的。

2. CCA表示與求解

      給定兩組向量和（替換之前的x為，y為），維度為，維度為，預設。形式化表示如下：

      與之前一樣，我們從和的整體入手，定義

      我們可以算出u和v的方差和協方差：

      上面的結果其實很好算，推導一下第一個吧：

      最後，我們需要算Corr(u,v)了

      我們期望Corr(u,v)越大越好，關於Pearson相關係數，《資料探勘導論》給出了一個很好的圖來說明：

      橫軸是u，縱軸是v，這裡我們期望通過調整a和b使得u和v的關係越像最後一個圖越好。其實第一個圖和最後一個圖有聯絡的，我們可以調整a和b的符號，使得從第一個圖變為最後一個。

      接下來我們求解a和b。

      回想在LDA中，也得到了類似Corr(u,v)的公式，我們在求解時固定了分母，來求分子（避免a和b同時擴大n倍仍然符號解條件的情況出現）。這裡我們同樣這麼做。

      這個優化問題的條件是：

      求解方法是構造Lagrangian等式，這裡我簡單推導如下：

      求導，得

      令導數為0後，得到方程組：

      第一個等式左乘，第二個左乘，再根據，得到

      也就是說求出的即是Corr(u,v)，只需找最大即可。

      讓我們把上面的方程組進一步簡化，並寫成矩陣形式，得到

      寫成矩陣形式

      令

      那麼上式可以寫作：

      顯然，又回到了求特徵值的老路上了，只要求得的最大特徵值，那麼Corr(u,v)和a和b都可以求出。

      在上面的推導過程中，我們假設了和均可逆。一般情況下都是可逆的，只有存在特徵間線性相關時會出現不可逆的情況，在本文最後會提到不可逆的處理辦法。

      再次審視一下，如果直接去計算的特徵值，複雜度有點高。我們將第二個式子代入第一個，得

      這樣先對求特徵值和特徵向量，然後根據第二個式子求得b。

待會舉個例子說明求解過程。

      假設按照上述過程，得到了最大時的和。那麼和稱為典型變數（canonical variates），即是u和v的相關係數。

      最後，我們得到u和v的等式為：

      我們也可以接著去尋找第二組典型變數對，其最優化條件是

      其實第二組約束條件就是。

      計算步驟同第一組計算方法，只不過是取的第二大特徵值。

      得到的和其實也滿足

      即

      總結一下，i和j分別表示和得到結果

3. CCA計算例子

      我們回到之前的評價一個人解題和其閱讀能力的關係的例子。假設我們通過對樣本計算協方差矩陣得到如下結果：

      然後求，得

      這裡的A和前面的中的A不是一回事（這裡符號有點亂，不好意思）。

      然後對A求特徵值和特徵向量，得到

      然後求b，之前我們說的方法是根據求b，這裡，我們也可以採用類似求a的方法來求b。

      回想之前的等式

      我們將上面的式子代入下面的，得

      然後直接對求特徵向量即可，注意和的特徵值相同，這個可以自己證明下。

      不管使用哪種方法，

      這裡我們得到a和b的兩組向量，到這還沒完，我們需要讓它們滿足之前的約束條件

      這裡的應該是我們之前得到的VecA中的列向量的m倍，我們只需要求得m，然後將VecA中的列向量乘以m即可。

      這裡的是VecA的列向量。

      因此最後的a和b為：

      第一組典型變數為

      相關係數

      第二組典型變數為

      相關係數

      這裡的（解題速度），（解題正確率），（閱讀速度），（閱讀理解程度）。他們前面的係數意思不是特徵對單個u或v的貢獻比重，而是從u和v整體關係看，當兩者關係最密切時，特徵計算時的權重。

4. Kernel Canonical Correlation Analysis（KCCA）

      通常當我們發現特徵的線性組合效果不夠好或者兩組集合關係是非線性的時候，我們會嘗試核函式方法，這裡我們繼續介紹Kernel CCA。

      在《支援向量機-核函式》那一篇中，大致介紹了一下核函式，這裡再簡單提一下：

      當我們對兩個向量作內積的時候

      我們可以使用，來替代和，比如原來的特徵向量為，那麼

      我們可以定義

      如果與的構造一樣，那麼

      這樣，僅通過計算x和y的內積的平方就可以達到在高維空間（這裡為）中計算和內積的效果。

      由核函式，我們可以得到核矩陣K，其中

      即第行第列的元素是第個和第個樣例在核函式下的內積。

      一個很好的核函式定義：

      其中樣例x有n個特徵，經過變換後，從n維特徵上升到了N維特徵，其中每一個特徵是。

      回到CCA，我們在使用核函式之前

      這裡假設x和y都是n維的，引入核函式後，和變為了N維。

      使用核函式後，u和v的公式為：

      這裡的c和d都是N維向量。

      現在我們有樣本，這裡的表示樣本x的第i個樣例，是n維向量。

根據前面說過的相關係數，構造拉格朗日公式如下：

      其中

      然後讓L對a求導，令導數等於0，得到（這一步我沒有驗證，待會從巨集觀上解釋一下）

      同樣對b求導，令導數等於0，得到

      求出c和d幹嘛呢？c和d只是