1. 程式人生 > 資料庫 >Redis使用bloom-filter過濾器實現推薦去重

Redis使用bloom-filter過濾器實現推薦去重

前期準備

redis原生並不帶布隆過濾器,需要單獨下載並自行編譯和載入。

1.下載redisbloom外掛(redis官網下載即可)

https://github.com/RedisLabsModules/redisbloom/

wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz

2.解壓,cd、make,make後會生成rebloom.so檔案

tar -zxvf v1.1.1.tar.gz
cd redisbloom-1.1.1/
make

3.配置redis.conf檔案,在配置檔案中加上,目錄為rebloom.so檔案的目錄路徑

loadmodule /目錄/rebloom.so

4.重新啟動redis

redis-server redis.conf

快速使用

建立filter:[bf.reserve key error_rate initial_size]

bf.reserve users 0.001 100000

bf.reserve命令有三個引數,分別是:

  • key:鍵
  • error_rate:期望錯誤率,期望錯誤率越低,需要的空間就越大。
  • capacity:初始容量,當實際元素的數量超過這個初始化容量時,誤判率上升。

如果不使用bf.reserve命令建立,而是使用Redis自動建立的布隆過濾器,預設的error_rate是 0.01,capacity是 100。

隆過濾器的error_rate越小,需要的儲存空間就越大,對於不需要過於精確的場景,error_rate設定稍大一點也可以。布隆過濾器的capacity設定的過大,會浪費儲存空間,設定的過小,就會影響準確率,所以在使用之前一定要儘可能地精確估計好元素數量,還需要加上一定的冗餘空間以避免實際元素可能會意外高出設定值很多。總之,error_rate和 capacity都需要設定一個合適的數值。

請檢視:https://www.cnblogs.com/-wenli/p/12444639.html

新增元素:[bf.add key options]

bf.add users user3

判斷元素是否存在:[bf.exists key options]

bf.exists users user1

新增多個元素:[bf.add key ...options]

bf.madd users user4 user5 user6 user

判斷多個元素是否存在:[bf.add key ...options]

bf.mexists users user4 user5 user6 user7 user8

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。