php實現Bloom Filter
Bloom Filter（BF） 是由Bloom在1970年提出的一種多哈希函數映射的高速查找算法，用於高速查找某個元素是否屬於集合， 但不要求百分百的準確率。 Bloom filter通經常使用於爬蟲的url去重，即推斷某個url是否已經被爬過。 原理方面我引用一篇別人的文章。講的比較清晰了。在此我不予贅述。 很多其它信息能夠參考其論文。 看過幾個php實現的BF，都覺得可讀性不是非常強。 本文主要給出我對Bloom Filter的一個php實現。
原理：
<引用自這篇文章>
一. 實例
為了說明Bloom Filter存在的重要意義，舉一個實例：
如果要你寫一個網絡蜘蛛（web crawler）。由於網絡間的鏈接錯綜復雜，蜘蛛在網絡間爬行非常可能會形成“環”。
為了避免形成“環”，就須要知道蜘蛛已經訪問過那些URL。
給一個URL，如何知道蜘蛛是否已經訪問過呢？略微想想，就會有例如以下幾種方案：
1. 將訪問過的URL保存到數據庫。
2. 用HashSet將訪問過的URL保存起來。那僅僅需接近O(1)的代價就能夠查到一個URL是否被訪問過了。
3. URL經過MD5或SHA-1等單向哈希後再保存到HashSet或數據庫。
4. Bit-Map方法。
建立一個BitSet。將每一個URL經過一個哈希函數映射到某一位。
方法1~3都是將訪問過的URL完整保存，方法4則僅僅標記URL的一個映射位。
以上方法在數據量較小的情況下都能完美解決這個問題，可是當數據量變得非常龐大時問題就來了。
方法1的缺點：數據量變得非常龐大後關系型數據庫查詢的效率會變得非常低。
並且每來一個URL就啟動一次數據庫查詢是不是太小題大做了？
方法2的缺點：太消耗內存。隨著URL的增多，占用的內存會越來越多。
就算僅僅有1億個URL，每一個URL僅僅算50個字符，就須要5GB內存。
方法3：由於字符串經過MD5處理後的信息摘要長度僅僅有128Bit。SHA-1處理後也僅僅有160Bit，因此方法3例如法2節省了好幾倍的內存。
方法4消耗內存是相對較少的。但缺點是單一哈希函數發生沖突的概率太高。
還記得數據結構課上學過的Hash表沖突的各種解決方法麽？若要減少沖突發生的概率到1%。就要將BitSet的長度設置為URL個數的100倍。
實質上上面的算法都忽略了一個重要的隱含條件：同意小概率的出錯，不一定要100%準確！也就是說少量url實際上沒有沒網絡蜘蛛訪問，而將它們錯判為已訪問的代價是非常小的——大不了少抓幾個網頁唄。
二. Bloom Filter的算法
廢話講到這裏，以下引入本篇的主角——Bloom Filter。
事實上上面方法4的思想已經非常接近Bloom Filter了。方法四的致命缺點是沖突概率高。為了減少沖突的概念。Bloom Filter使用了多個哈希函數，而不是一個。
Bloom Filter算法例如以下：
(1)初始化
創建一個m位BitSet，先將所有位初始化為0，然後選擇k個不同的哈希函數。第i個哈希函數對字符串str哈希的結果記為h（i。str），且h（i。str）的範圍是0到m-1 。
(2) 檢查字符串是否存在
以下是檢查字符串str是否被BitSet記錄過的過程：
對於字符串str。分別計算h（1。str），h（2。str）…… h（k，str）。然後檢查BitSet的第h（1，str）、h（2，str）…… h（k，str）位是否為1，若當中不論什麽一位不為1則能夠判定str一定沒有被記錄過。
若所有位都是1，則“覺得”字符串str存在。
若一個字符串相應的Bit不全為1。則能夠肯定該字符串一定沒有被Bloom Filter記錄過。
（這是顯然的，由於字符串被記錄過。其相應的二進制位肯定所有被設為1了）
可是若一個字符串相應的Bit全為1，實際上是不能100%的肯定該字符串被Bloom Filter記錄過的。（由於有可能該字符串的所有位都剛好是被其它字符串所相應）這樣的將該字符串劃分錯的情況，稱為false positive 。
(3) 刪除字符串 :
字符串增加了就被不能刪除了，由於刪除會影響到其它字符串。實在須要刪除字符串的能夠使用Counting bloomfilter(CBF)。這是一種基本Bloom Filter的變體，CBF將基本Bloom Filter每一個Bit改為一個計數器，這樣就能夠實現刪除字符串的功能了。
Bloom Filter跟單哈希函數Bit-Map不同之處在於：Bloom Filter使用了k個哈希函數，每一個字符串跟k個bit相應。從而減少了沖突的概率。
三. Bloom Filter參數選擇
(1)哈希函數選擇
哈希函數的選擇對性能的影響應該是非常大的，一個好的哈希函數要能近似等概率的將字符串映射到各個Bit。選擇k個不同的哈希函數比較麻煩，一種簡單的方法是選擇一個哈希函數，然後送入k個不同的參數。
(2)Bit數組大小選擇
哈希函數個數k、位數組大小m、增加的字符串數量n的關系能夠參考參考文獻1。該文獻證明了對於給定的m、n，當 k = ln(2)* m/n 時出錯的概率是最小的。
同一時候該文獻還給出特定的k，m，n的出錯概率。例如：依據參考文獻，哈希函數個數k取10，位數組大小m設為字符串個數n的20倍時，false positive發生的概率是0.0000889 ，這個概率基本能滿足網絡爬蟲的需求了。
實現：
<?php
///***************************************************************************
// *
// * Copyright (c) 2015 Baidu.com, Inc. All Rights Reserved
// *
// **************************************************************************/
//
//
//
///**
// * @file bloomfilter.php
// * @author Rachel Zhang([email protected])
// * @date 2015/07/24 18:48:57
// * @version $Revision$
// * @brief
// *
// **/
class BloomFilter{
var $m; # blocksize
var $n; # number of strings to hash
var $k; # number of hashing functions
var $bitset; # hashing block with size m
function BloomFilter($mInit,$nInit){
$this->m = $mInit;
$this->n = $nInit;
$this->k = ceil(($this->m/$this->n)*log(2));
echo "number of functions: $this->k\n";
$this->bitset = array_fill(0, $this->m, false);
}
function hashcode($str){
$res = array(); #put k hashing bit into $res
$seed = crc32($str);
mt_srand($seed); // set random seed, or mt_rand wouldn‘t provide same random arrays at different generation
for($i=0 ; $i<$this->k ; $i++){
$res[] = mt_rand(0,$this->m-1);
}
return $res;
}
function addKey($key){
foreach($this->hashcode($key) as $codebit){
$this->bitset[$codebit]=true;
}
}
function existKey($key){
$code=$this->hashcode($key);
foreach($code as $codebit){
if($this->bitset[$codebit]==false){
return false;
}
}
return true;
}
}
$bf = new BloomFilter(10,2);
$str_add1 = "test1";
$str_add2 = "test2";
$str_notadd3 = "test3";
//var_dump($bf->hashcode($str));
$bf->addKey($str_add1);
$bf->addKey($str_add2);
var_dump($bf->existKey($str_add1));
var_dump($bf->existKey($str_add2));
var_dump($bf->existKey($str_notadd3));
?>
php實現Bloom Filter