過濾100億黑名單

題目

假設有100億個URL的黑名單，每個URL最多佔用64B，設計一個過濾系統，判斷某條URL是否在黑名單裡。

要求

不高於萬分之一的判斷失誤率；額外記憶體不超過30GB

答案

100億個64B的URL需要640GB的記憶體，顯然直接存雜湊表不合理。考慮布隆過濾器，假設有一個長度為m的bit型別陣列
輸入階段：
有k個雜湊函式，函式的輸出域S大於或等於m，假設雜湊函式彼此獨立，對於同一個輸入(以字串表示的URL)，經過k個雜湊函式的計算結果也是相互獨立。對計算的每一個結果Mod m，將bit array上對應的位置置1，
一個輸入物件會將bitmap某些位置塗黑，處理完所有輸入物件，會將bitmap相當多位置塗黑，至此，布隆過濾器生成完畢，代表之前所有輸入物件的集合。

20億個數中出現最多的數

問題

包含20億個全是32位整數的大檔案，在其中找出出現次數最多的數。

要求

記憶體限制：2GB

答案

將20億個數用hash函式分成16個檔案。然後統計每個小檔案中，哪個數字出現次數最多。最後再比較每個小檔案的次數最多的數。（本題分成16個也是根據題目來的。考慮最極端情況。20億個數都不同）32位的整數要佔4b,key佔4b，value佔4b。共8b。記憶體只有2G。所以大概每個小檔案存2億條。就需要10個小檔案。但是hash函式必須2的n次方。所以2的4次方。16個

40億個數找沒出現的數

問題

有一個包含40億個無符號整數的檔案，最多使用1GB記憶體，找到所有沒出現的數

分析

最差情況，40億個數都不同，雜湊表儲存出現過的數，需要記憶體4B*40億，大約16GB記憶體。

答案

使用bitmap，申請一個長度為4294967295bit型別的bitArray，每個位置只表示0或1，該陣列佔用空間約500MB。遍歷這20億個數，例如遇到7000，就將bitArray[7000]置1。遍歷完成後，再依次遍歷bitArray，哪個位置沒有置1，哪個數就不在40億個數中。

40億個數找第一個沒出現的數 。記憶體只有10M

答案

具體的，第一次遍歷，申請長度64的整形陣列countArr[0…63]，統計每個區間計數增加。例如，當前數是34225522090，34225522090/67108864=51，countArr[51]++。遍歷完之後，必定有一個countArr[i]小於67108864，表示i區間內至少有一個數沒出現過。此時countArr[]使用的記憶體是64*4B。

假設在37區間有一個數沒出現，申請一個長度為67108864的bitmap，記憶體大約8MB，記為bitArr[0~67108863]。再一次遍歷40億個數，只關心37區間的數，記為num。將bitAry[num-67108864*37]的值置位1。遍歷完之後，bitArr必然有沒有置1的位置，記為i，則67108864*37+i就是沒出現過的數。

找出100億個重複URL以及搜尋詞彙topK問題

問題

有一個包含100億URL的大檔案，每個URL佔64B，找出重複URL；補充，找出top100搜尋詞彙

常規答案

1. 大檔案通過雜湊函式分配到不同機器
2. 雜湊函式將大檔案拆分成小檔案。
   對於每一個小檔案，利用雜湊表遍歷，找出重複的URL，或者分給機器或拆分檔案完之後，進行排序，看是否有重複的URL。

補充問題的思路也是通過雜湊函式分流，對於每個小檔案，簡歷詞頻雜湊表，建一個大小為100的小根堆，選出每個小檔案的top100.每個小檔案的top100進行外排序或者接著使用小根堆，就能得到100億資料的top100.

出現兩次的數以及中位數問題

問題

有40億個無符號32位整數，最多可以使用1GB記憶體，找出所有出現了兩次的數；補充問題，最多使用10MB記憶體，找到40億個數的中位數

答案

第一個問題可以用bitmap做，申請長度為2?232bit的bitArr，2個bit表示一個數出現的詞頻。遍歷40億個數，假設出現num，將bitArr[2*num]和bitArr[2*num+1]設定為01，第二次出現，設定為10，第三次，設定為11。以後再遇到11的，就不做處理。遍歷完成後，再遍歷一次，若發現bitArr[2*num]和bitArr[2*num+1]是10，則num是出現了兩次的數。

第二個問題，分割槽間討論。長度為2MB的unsigned int陣列佔用8MB，將區間數目定位232/2M，取整為2148個區間，第0區間0~2M-1，第i區間2M*i~2M*（i+1）-1

申請一個長度為2148的unsigned int整數陣列arr[0..2147],arr[i]表示i區間有多少個數，arr佔用記憶體小於10MB。遍歷40億個數，當前數num為num，落在區間(num/2M)，對應arr[num/2M]++。累加統計每個區間的累計數目，就能找到40億個數的中位數。例如0~K-1區間數目個數為19.998億，加上第K個區間就超過了20億，說要中位數一定在K區間中，並且一定是第K區間的第0.002億個數。

接著申請長度2M的unsigned int陣列countArr[0..2M-1]，佔用8MB。遍歷40億個數，只關心第K區間的數numi，countArr[numi-K*2M]++。統計完之後在第K區間找地0.002億個數字即可。

一致性雜湊

分散式資料庫叢集快取，例如memcached，將資料的id通過雜湊函式轉換為key，假設有N個機器，計算key%N，得到及其所屬編號，增刪改查都在這臺機器上。一致性雜湊能在機器擴容（N發生變化），使得不用重新計算一遍key%N

三臺機器處於雜湊環，id通過雜湊對映為key，在雜湊環中順時針找距離最近的機器。

機器較少的時候可能會出現負載不均衡，如圖所示：

答案

引入虛擬節點，增加結點數