1、近鄰成分分析（NCA）算法

以上內容轉載自：http://blog.csdn.net/chlele0105/article/details/13006443

2、度量學習

在機器學習中，對高維數據進行降維的主要目的是找到一個合適的低維空間，在該空間中進行學習能比原始空間性能更好。每個空間對應了在樣本屬性上定義的一個距離度量，而尋找合適的空間，本質上就是尋找一個合適的距離度量。度量學習（metric learning）的基本動機就是去學習一個合適的距離度量。

降維的核心在在於尋找合適空間，而合適空間的定義就是距離度量，所以學習合適的距離度量就是度量學習的目的。要對距離度量進行學習，要有一個便於學習的距離度量表達形式。

其中M稱為度量矩陣，度量學習就是對M進行學習。為保持距離非負且對稱，M須是半正定對稱矩陣，即必有正交基P使得M能寫為M=PPT。

至此，已構建了學習的對象是M這個度量矩陣，接下來就是給學習設定一個目標從而求得M。假定是希望提高近鄰分類器的性能，則可將M直接嵌入到近鄰分類器的評價指標中去，通過優化該性能指標相應地求得M，以近鄰成分分析（Neighbourhood Component Analysis，NCA）進行討論。

近鄰分類器判別時通常采用多數投票法，領域中的每個樣本投1票，領域外的樣本投0票。將其替換為概率投票法，對任意樣本xj，它對xi分類結果影響的概率為：

機器學習--近鄰成分分析（NCA）算法 和 度量學習