從圖嵌入視覺看子空間學習
1.流形學習
以下介紹三種常見的流形學習方法,他們的共同點在於:
1)都把資料最本質的結構資訊編碼在一個圖的權值矩陣中;
2)優化問題的求解都可以轉化為相似的特徵值分解問題。
1.1 區域性線性嵌入(LLE)
LLE的基本思想:資料點可能分佈於一個非線性的的子流形上,但是每一個區域性的鄰域可能是線性的這種假設是合理的。所以可以通過線性的係數和相鄰的patch來描述和重建每一個patch的區域性幾何。
假設x1, x2, xn為原始資料空間中的n個數據點,yi表示xi的低維對映,首先構建一個k近鄰的圖G, 其權值矩陣為M,則其重建誤差為
通過求解特徵值分解問題得到最優的嵌入。
1.2 ISOMAP
Let dM be the geodesic distance measure on M and d the standard Euclidean distance measure in Rm
ISOMAP的目標是找到一個歐幾里得嵌入,使得Rm裡面的歐幾里得距離可以很好的逼近在流形M上的距離,即:
在真實的資料集中,潛在的流形M通常是未知的,因此測地距離也是未知的。所以為了發掘流形M的最本質的幾何結構,做法如下:
1)在所有資料點上構建k近鄰圖G,來對區域性的幾何進行建模。
2)通過計算圖G上的所有資料對的最短路徑來估計在流形M上的所有資料點對之間的幾何測地距離。
最優的嵌入也是通過特徵值分解來求得
1.3 Laplacian Eigenmap
拉普拉斯特徵圖方法是基於譜圖理論的。給定一個帶有權值矩陣W的p近鄰的圖G,W的定義和LE最優的對映通過解決以下優化問題得到:
最優的嵌入是通過廣義的特徵值分解來求得。
2. 圖嵌入
圖嵌入的一般問題:給定一個具有權值W的圖G,具有n個頂點,每個頂點表示一個數據點,W是n×n的對稱矩陣。
圖嵌入的目標是:把圖的每個頂點表示為一個低維的向量,該向量儲存了頂點對之間的相似性,其中相似性通過邊緣權值來度量。其優化問題為:
_ ——>>>>>
其中,L是拉普拉斯圖。
因此,上述的三種流形學習的方法都可以使用圖嵌入框架來解釋,它們的區別在於W和D的不同選擇。