1. 程式人生 > 其它 >rm r語言 保留變數_R語言入門之資料排序、合併、分類彙總

rm r語言 保留變數_R語言入門之資料排序、合併、分類彙總

直觀的說,bloom演算法類似一個hash set,用來判斷某個元素(key)是否在某個集合中
和一般的hash set不同的是,這個演算法無需儲存key的值,對於每個key,只需要k個位元位,每個儲存一個標誌,用來判斷key是否在集合中。

  1. 首先需要k個hash函式,每個函式可以把key雜湊成為1個整數
  2. 初始化時,需要一個長度為n位元的陣列,每個位元位初始化為0
  3. 某個key加入集合時,用k個hash函式計算出k個雜湊值,並把陣列中對應的位元位置為1
  4. 判斷某個key是否在集合時,用k個hash函式計算出k個雜湊值,並查詢陣列中對應的位元位,如果所有的位元位都是1,認為在集合中。

優點:不需要儲存key,節省空間

缺點:
1.演算法判斷key在集合中時,有一定的概率key其實不在集合中
5. 無法刪除

典型的應用場景:
某些儲存系統的設計中,會存在空查詢缺陷:當查詢一個不存在的key時,需要訪問慢裝置,導致效率低下。
比如一個前端頁面的快取系統,可能這樣設計:先查詢某個頁面在本地是否存在,如果存在就直接返回,如果不存在,就從後端獲取。但是當頻繁從快取系統查詢一個頁面時,快取系統將會頻繁請求後端,把壓力匯入後端。

這是隻要增加一個bloom演算法的服務,後端插入一個key時,在這個服務中設定一次
需要查詢後端時,先判斷key在後端是否存在,這樣就能避免後端的壓力。

在這裡插入圖片描述
下面進行編碼,採用的時go語言

package bulong

import (
"github.com/willf/bitset" "fmt" ) const DEFAULT_SIZE = 2<<24 var seeds = []uint{7, 11, 13, 31, 37, 61} type SimpleHash struct { //陣列容量 cap uint //雜湊種子 seed uint } func (s SimpleHash) hash(value string) uint{ var result uint = 0 for i := 0; i < len(value)
; i++{ result = result * s.seed + uint(value[i]) } return (s.cap - 1) & result } type BloomFilter struct { //用bit陣列來設定 set *bitset.BitSet //對應大的雜湊函式 funcs [6]SimpleHash } func NewBloomFilter() *BloomFilter{ bf := new(BloomFilter) for i := 0; i < len(bf.funcs); i++{ bf.funcs[i] = SimpleHash{ DEFAULT_SIZE, seeds[i], } } bf.set = bitset.New(DEFAULT_SIZE) return bf } //新增一個鍵 func (b BloomFilter) add(value string){ for _, f := range b.funcs { index := f.hash(value) b.set.Set(index) } } //檢視值在不在bloolm過濾器裡面 func (b BloomFilter) contains(value string) bool { if value == ""{ return false } for _, f := range b.funcs{ index := f.hash(value) if !b.set.Test(index) { return false } } return true }