關於區域性敏感雜湊演算法，之前用R語言實現過，但是由於在R中效能太低，於是放棄用LSH來做相似性檢索。學了Python發現很多模組都能實現，而且通過隨機投影森林讓查詢資料更快，覺得可以試試大規模應用在資料相似性檢索+去重的場景。

私認為，文字的相似性可以分為兩類：一類是機械相似性；一類是語義相似性。
機械相似性代表著，兩個文字內容上的相關程度，比如“你好嗎”和“你好”的相似性，純粹代表著內容上字元是否完全共現，應用場景在：文章去重；
語義相似性代表著，兩個文字語義上的相似程度，比如“蘋果”和“公司”的相似性，本篇不做這一討論

一、LSHash介紹

這個模組是python裡面專門來實現LSH，比較特別的有：

• 通過使用NumPy陣列的計算將高維資料快速雜湊。
• 支援多雜湊索引
• 內建通常的距離函式/排名輸出

安裝

pip install lshash

.

1、主函式

LSHash(hash_size, input_dim, num_of_hashtables=1, storage=None, matrices_filename=None, overwrite=False)

• hash_size:

二進位制雜湊的長度。

• input_dim:

輸入變數的維度

• num_hashtables = 1:

(optional)多索引查詢時雜湊表數量。

• storage = None:
  Specify the name of the storage to be used for the index storage. Options include “redis”.
  儲存

• matrices_filename = None:

文件儲存，以.npz方式

• overwrite = False:

是否覆蓋原檔案
.

2、函式：lsh.index(input_point, extra_data=None)

• input_point:

輸入

• extra_data = None:

(optional) Extra data to be added along with the input_point.
.

3、查詢函式：lsh.query(query_point, num_results=None, distance_func=”euclidean”):

• query_point:

The query data point is an array or tuple of numbers of input_dim.

• num_results = None:

(optional) The number of query results to return in ranked order. By default all results will be returned.

• distance_func = “euclidean”:

強調：這裡的距離函式有，euclidean，true_euclidean，centred_euclidean，cosine，l1norm，hamming等多種。預設是euclidean 距離。

.

二、簡單案例

>>> from lshash import LSHash

>>> lsh = LSHash(6, 8)
>>> lsh.index([1,2,3,4,5,6,7,8])
>>> lsh.index([2,3,4,5,6,7,8,9])
>>> lsh.index([10,12,99,1,5,31,2,3])
>>> lsh.query([1,2,3,4,5,6,7,7])
[((1, 2, 3, 4, 5, 6, 7, 8), 1.0),
 ((2, 3, 4, 5, 6, 7, 8, 9), 11)]

LSHash(6, 8)，建立一個8維度，6-bits的雜湊，初始化一下；
lsh.index,資料載入的過程；
lsh.query，查詢。
這裡可以選擇自己喜歡的距離。