之前寫過一篇距離與相似性度量的blog，這裡新增兩個少見的相似性度量方法，並且再擴充套件一些東西。

Tanimoto 係數

Tanimoto係數由Jaccard係數擴充套件而來。首先引入Jaccard係數。

Jaccard係數

兩個特徵向量A,B，如果其值都是0,1的二值資料，那麼有一個簡單的判定相似性的方法：

F00 = A中為0並且B中也為0的個數

F10 = A1 B0的個數

F01 = A0 B1的個數

F11 = A1 B1 的個數

那麼可以定義這麼一個similarity：

這叫做（simplematch coefficient）SMC，簡單匹配係數。

很多情況下，兩個向量中，0的個數會大大多於1的個數，也就很稀疏，類不平衡。這時候不同向量之間的SMC會因為過多出現的0而沒有效果。

那麼我們可以只考慮F11，得到：

這也就是Jaccard距離。

如果把兩個向量看作兩個集合，0為此元素不存在，1為此元素存在，那麼Jaccard距離就是很好地比較兩個集合相似性的度量方法。在集合的相似度計算中，Jaccard距離可以寫成：

擴張Jaccard

如果這個時候，還是很稀疏，但是值是非二值的，該怎麼辦？

一種簡單的方法就是用cosine距離：

cosine距離是處理稀疏非二值特徵的很好的選擇。

但是，我們還想以Jaccard距離的思維來做又要如何？如下：

如果我們的x,y都是二值向量，那麼如上公式就會得到Jaccard距離。

分子項，只有兩個均非0才會有非0的有用結果，類似於F11，不過這裡不是簡單的計數，而是用數乘來表示。

分母項，2範數表示大小，也只有非0的項才有貢獻，再減去xy即共同的，這個類似

以上是通過觀察得出的結論，具體推導不知。

SMC距離在一般的非不平衡二值問題上計算應該比較方便。

Jaccard在文字分類等不平衡二值問題上有所作為

Tanimoto的話，沒用過，效果不知道有沒有cosine好。應該會得到一個類似cosine的結果。

Bregman 散度距離

（BregmanDivergence）

形式如下：

其中為某個凸函式，表示函式對y求導，<>表示點乘。

我們把y=x^2作為，得到：

即得到歐式距離。

Bregman距離的數學性質及推導不知，wiki上說，其為許多常見距離的一個通式。

其中包括歐式距離，曼哈頓距離，KL距離等等。水平有限，只能引用到此。

mahalanobis距離

馬氏距離：

首先考慮歐式距離，歐式距離有兩點明顯的缺點：

1.把不同量綱級別的屬性同等看待

比如一個特徵向量包含人的年齡，收入，那麼收入得到的點乘會遠遠大於年齡，使得年齡沒有作用。

一般的做法是歸一化屬性值。

2.屬性間相關性

一個人的體重很多時候正比於身高。如果作為特徵中的兩個屬性，就會重複計算這個值，得到冗餘資訊。

一種做法是做去相關，降維，特徵選擇等等。

不同與歐式距離，馬氏距離考慮了量綱即屬性間相關性。如下：

M(x,y)=(x-y)sigm(x-y)T

其中sigm表示整體特徵向量的協方差矩陣。

馬氏距離的最大缺點就是計算複雜度要高出很多，具體運用時要考慮這個因素。

補充

補充之前距離沒寫到的一些資訊：

轉換 transformation

有時候，我們得到了距離，進而可以用這個距離求相似性。如：

s表示相關性，d表示距離，則有：

s = -d

s=1/(1+d) 這種方法把距離對映到（0-1）的相似性空間中

s=e^-d      這種方法為非線性對映

s = 1-(d-mind)/(maxd-mind)  也是一種把距離對映到（0-1）上的方法，不過這種是線性的。

小結：任意一種遞減的函式都可以把d對映為s度量

歸一化normalization

像cosine這種，本身就是（-1,1）的資料，可以直接使用。不過很多情況下，如歐式距離，range都無從控制。歸一化是必須的。

度量（metric）

滿足以下幾種性質的量，可以成為度量（metric）：

非負性

（a）d(x,y)>=0  

（b）d(x,y)=0 if x==y 

對稱性

d(x,y) = d(y,x) for all x,y

三角性

d（x,z）<= d(x,y) + d(y,z)

metrics對於許多演算法是必須的，不過很多情況下，不必滿足metrics也可以作為距離度量。

有再看到類似的再更新。