1. 程式人生 > 實用技巧 >餘弦相似度計算

餘弦相似度計算

餘弦相似度用向量空間中兩個向量夾角的餘弦值作為衡量兩個個體間差異的大小。餘弦值越接近1,就表明夾角越接近0度,也就是兩個向量越相似,這就叫"餘弦相似性"。

我們知道,對於兩個向量,如果他們之間的夾角越小,那麼我們認為這兩個向量是越相似的。餘弦相似性就是利用了這個理論思想。它通過計算兩個向量的夾角的餘弦值來衡量向量之間的相似度值。餘弦相似性推導公式如下:

【下面舉一個例子,來說明餘弦計算文字相似度】

舉一個例子來說明,用上述理論計算文字的相似性。為了簡單起見,先從句子著手。

句子A:這隻皮靴號碼大了。那隻號碼合適

句子B:這隻皮靴號碼不小,那隻更合適

怎樣計算上面兩句話的相似程度?

基本思路是:如果這兩句話的用詞越相似,它們的內容就應該越相似。因此,可以從詞頻入手,計算它們的相似程度。

第一步,分詞

句子A:這隻/皮靴/號碼/大了。那隻/號碼/合適。

句子B:這隻/皮靴/號碼//小,那隻//合適。

第二步,列出所有的詞。

這隻,皮靴,號碼,大了。那隻,合適,不,小,很

第三步,計算詞頻。

句子A這隻1,皮靴1,號碼2,大了1。那隻1,合適1,不0,小0,更0

句子B這隻1,皮靴1,號碼1,大了0。那隻1,合適1,不1,小1,更1

第四步,寫出詞頻向量。

句子A(112111000)

句子B(111011111)

到這裡,問題就變成了如何計算這兩個向量的相似程度。我們可以把它們想象成空間中的兩條線段,都是從原點([0, 0, ...])出發,指向不同的方向。兩條線段之間形成一個夾角,如果夾角為0度,意味著方向相同、線段重合,這是表示兩個向量代表的文字完全相等;如果夾角為90度,意味著形成直角,方向完全不相似;如果夾角為180度,意味著方向正好相反。因此,我們可以通過夾角的大小,來判斷向量的相似程度。夾角越小,就代表越相似。

使用上面的公式(4)

計算兩個句子向量

句子A(112111000)

和句子B(111011111)的向量餘弦值來確定兩個句子的相似度。

計算過程如下:

計算結果中夾角的餘弦值為0.81非常接近於1,所以,上面的句子A和句子B是基本相似的。

轉載於:https://my.oschina.net/tingzi/blog/3021854