因為要做過濾器相關內容，最近讀了一些過濾器方面的文章，準備從中提取主要思想寫幾篇部落格。

作為這系列的第一篇文章，首先得講一下過濾器是幹什麼用的。從歷史發展來看，過濾器最早出現是作為散列表的替代品，那麼功能就要和散列表差不多，主要是查詢當前的元素是否在我已知的集合裡。但是隨著資料量不斷增大，散列表相對來說佔用空間過大，而空間佔用小的查詢樹的\(O(logn)\)時間複雜度又太高。於是有人想出來能否用正確率做代價，換取較高的查詢速度和較小的儲存佔用，這就是過濾器。當然，這裡所允許的錯誤僅限假陽性，例如我們做一個關於代理ip地址的過濾器，當有一個不是代理的ip地址發來，我們也許會把它錯認成是代理ip，但是我們不會允許一個代理ip被錯認成非代理ip，簡單的說，就是寧可錯殺，不可放過。

作為第一篇，按照歷史角度，先說布隆過濾器(bloom filter)。原版的布隆過濾器很樸素，只支援插入和查詢兩個操作，下面我們看它的原理。

首先，布隆過濾器申請了一片空間，存了一個數組，每個元素都只有1個bit，共有N個元素，初始化每個值都為0。如下圖所示。（實際並沒有index這一行，僅僅是為了方便觀看）

插入操作

下一步就是如何插入資料。布隆過濾器要求你事先定義K個Hash函式，這K個Hash函式都是從定義域對映到上圖中的index空間（即N）。通過這K個Hash函式，我們對一條新的資料x，計算出\(h_0(x),h_1(x),....h_{k-1}(x)\)，這樣就得到了K個地址。我們將這K個地址的位元位置1.這裡就有值得注意的地方，因為我們的過濾器的大小遠遠小於資料集大小，那麼常常會有Hash之後對映到同一個位置的資料，不要擔心，照常置1。

下面的例子是K=3,\(h_0(x)=2,h_1(x)=5,h_2(x)=7\)。如圖所示

查詢操作

當插入其他一些資料後，過濾器可能變成下圖所示，我們不關心中間經歷了什麼。

我們現在查詢剛才第一次插入的資料是否在過濾器中，那麼同樣計算\(h_0(x),h_1(x),h_2(x)\)，算出3個地址，2,5,7，去表中查詢，若3個地址的資料都為1，則判斷在過濾器中，否則判斷不在過濾器中。

演算法和資料結構都很簡單，我們下面說的是對布隆過濾器的一些分析和題外話，有興趣的讀者可以繼續閱讀。

我們在過濾器上很關注三個指標，一個是操作的時間複雜度，一個是平均每條資料佔用的位元數，最後是錯誤率。下面我們分析一下。

時間複雜度

布隆過濾器上的兩個操作，插入和查詢，都只是計算一下K個Hash函式的值，然後進行K次訪存操作。那麼時間上很明顯是\(O(K)\)，其實不算也知道，一個替代Hash表的過濾器，操作代價必須是常數級別。

平均每條資料佔用的位元數 and 錯誤率

直覺上，很容易得出這兩個衡量指標其實是矛盾的，當想要較低錯誤率時就要增大空間；想要減小佔用空間時，那麼由於Hash碰撞的次數變多，錯誤率也會提高。我們在這裡將錯誤率作為已知來計算平均每條資料佔用的位元數。為什麼這麼做？因為在實際應用中我們可以對過濾器設定一個錯誤率作為標準，通常情況下我們對這一點要求更嚴格。

我們設陣列總大小為\(N\)，插入n條資料後表中還為0的資料佔全部的比例為\(\phi\)。那麼

\(\phi = (1-K / N)^n\)-------------------------(1)
讀者可以想想為什麼不是\(K * n / N\)，在這裡，我們其實省略了Hash函式預設是隨機分佈到全空間的。

設錯誤率為\(P\)，

\(P = (1-\phi)^K\) ----------------------------(2)
錯誤只發生隨機分佈到K個地址，結果在K個地址都有資料用了，那麼不管你是否在過濾器中，布隆過濾器都會判斷你在其中，這就是錯誤來源。

然後我們對(1)式兩邊取對數

\(log_2^\phi = log_2^{(1-K/N)^n}\)
使用換底公式
\(log_2^\phi = log_2^{(1-K/N)^n} = log_e^{(1-d/N)^n} * log_2^e = -n * K / N *log_2^e\) ---(3)

我們要求的平均每條資料佔用的位元數\(N(bit) / n = log_2^{1/P} * log_2^e / (log_2^\phi * log_2^{(1-\phi)})\)，通過極值點計算可以得到分母最大時，\(\phi=0.5\)，分母為1，則結果為\(N/n = log_2^{1/P} / ln2\)

可以看到，每條資料佔用的位元數與錯誤率的對數成反比。

之後我會先把幾個不同思想的過濾器介紹一遍，最後會有關於布隆過濾器的一些變形