一、說明

相似性度量用以描述兩個向量之間的相似性，是一個值域為一維的二元函式。一般情況，相似性度量本質上指距離度量，只不過數值指示剛好相反，如果是距離的話，數值越小，距離越近，而相似度越大；如果是相似度的話，數值越小，相似度越小，而距離越大。

相似性度量在機器學習中是一個非常基礎的概念，尤其在聚類、推薦系統等演算法中。

在工程應用中，也會使用一些不完全滿足距離度量基本性質的“非距離度量”[1]。

二、距離度量的基本性質：

        非負性：dist(x,y) >= 0

        同一性：dist(x,x) = 0

        對稱性：dist(x,y) = dist(y,x)

        三角不等式：dist(x,z)+dist(y,z) >= dist(x,y)

三、常用相似性度量

1、閔可夫斯基距離(Minkowski Distance)

2、曼哈頓距離(Manhattan Distance)

p=1時，閔可夫斯基距離就是曼哈頓距離

又稱城市街區距離，在方正的北京大街打車，行車距離就是曼哈頓距離，如果在山城重慶就不是了。

3、歐氏距離(Euclidean Distance)

p=2時，閔可夫斯基距離就是歐氏距離。

在平面幾何或者立體幾何中的距離，通常就是歐氏距離，所以歐氏距離也最容易理解。

4、切比雪夫距離(Chebyshev Distance)

p等於無窮大時，閔可夫斯基距離就是切比雪夫距離。

若將國際象棋棋盤放在二維直角座標系中，格子的邊長定義為1，座標的x軸及y軸和棋盤方格平行，原點恰落在某一格的中心點，則王從一個位置走到其他位置需要的最少步數恰為二個位置的切比雪夫距離，因此切比雪夫距離也稱為棋盤距離

5、"加權(weighted)"閔可夫斯基距離

當樣本中不同屬性的重要性不同時，可使用"加權距離"(weighted distance)[1]。

6、餘弦相似度(Cosine Similarity)

餘弦相似性取值[-1,1]，值越趨於1，表示兩個向量的相似度越高。餘弦相似度與向量的幅值無關，只與向量的方向相關，在文件相似度(TF-IDF)和圖片相似性(histogram)計算上都有它的身影[3]。

7、皮爾遜相關係數(Pearson Correlation)

餘弦相似度會受到向量的平移影響，怎樣才能實現平移不變性？在餘弦相似度的基礎上，每個向量減去這個向量均值組成的向量，也就是皮爾遜相關係數，有時候也直接叫相關係數。

當兩個向量均值都為0時，皮爾遜相對係數等於餘弦相似性。

8、馬氏距離(Mahalanobis Distance)

一個向量的不同維度如果是不同的量綱，更有甚者，維度之間是相關的，比如身高和體重組成的向量，在閔可夫斯基距離中等同對待，有時，這樣是不恰當的。馬氏距離利用 Cholesky transformation 消除了不同維度之間的相關性和尺度不同[3]。

其中，S為樣本的協方差矩陣。當S是單位陣的時候，馬氏距離就是歐式距離；當S是對角陣的時候，馬氏距離是加權歐式距離。

很多時候，一個事物的有點也可能會構成它的缺點。這裡馬氏距離可以消除不同維度之間的不同尺度，就可能放大了變化細微維度的作用[4]。

我們可以按照連續性將屬性分為“連續屬性”和“離散屬性”；也可以按照有序性將屬性分為“有序屬性”和“無序屬性”[1]。上面的相似性度量都是關於“連續”並“有序”屬性的，下面給出幾個關於“離散屬性”和“無序屬性”的相似性度量。

9、漢明距離(Hamming Distance)

兩個等長字串s1與s2之間的漢明距離定義為將其中一個變為另外一個所需要作的最小替換次數。

例如:字串“11110011”與“10010010”之間的漢明距離為3。

漢明距離可以在通訊中累計定長二進位制字中發生翻轉的錯誤資料位，所以它也被稱為訊號距離。漢明重量分析在包括資訊理論、編碼理論、密碼學等領域都有應用。[5]

如果要比較兩個不同長度的字串，不僅要進行替換，而且要進行插入與刪除的運算，在這種場合下，通常使用更加複雜的編輯距離等演算法。[5]

10、傑卡德相似係數(Jaccard Similarity)

傑卡德相似係數是衡量兩個集合的相似度一種指標

傑卡德相似係數是從相似性度量的角度來表述的，從距離度量的角度，則有傑卡德距離(Jaccard Distance)

傑卡德相似係數和傑卡德距離本質上是一樣的，只是表述角度不同。

在聚類中，傑卡德相似係數可以作為聚類的效能度量[1]。在推薦系統中，傑卡德相似係數可以度量兩個購買若干商品的使用者之間的相似性[3]。

11、KL散度(Kullback-Leibler Divergence)

又叫相對熵，表示兩個隨機分佈之間的相似性

可以證明，KL散度大於等於0，當p=q時等於0；KL散度不滿足對稱性。

12、Hellinger距離(Hellinger Distance)

在七月演算法的課程裡，還講了一個與KL散度類似的距離，表示隨機分佈之間的相似性的Hellinger距離

當α=0時

這時，Hellinger距離就是兩個隨機分佈取平方根之後的歐式距離，符合距離度量的四個性質，是嚴格的距離度量。