什麼是正排索引？

什麼是倒排索引？

搜尋的過程是什麼樣的？

會用到哪些演算法與資料結構？

前面的內容太巨集觀，為了照顧大部分沒有做過搜尋引擎的同學，資料結構與演算法部分從正排索引、倒排索引一點點開始。

提問：什麼是正排索引（forward index）？

回答：由key查詢實體的過程，是正排索引。

使用者表：t_user(uid, name, passwd, age, sex)，由uid查詢整行的過程，就是正排索引查詢。

網頁庫：t_web_page(url, page_content)，由url查詢整個網頁的過程，也是正排索引查詢。

網頁內容分詞後，page_content會對應一個分詞後的集合list<item>

簡易的，正排索引可以理解為Map<url, list<item>>，能夠由網頁快速（時間複雜度O(1)）找到內容的一個數據結構。

提問：什麼是倒排索引（inverted index）？

回答：由item查詢key的過程，是倒排索引。

對於網頁搜尋，倒排索引可以理解為Map<item, list<url>>，能夠由查詢詞快速（時間複雜度O(1)）找到包含這個查詢詞的網頁的資料結構。

舉個例子，假設有3個網頁：

url1 -> “我愛北京”

url2 -> “我愛到家”

url3 -> “到家美好”

這是一個正排索引Map<url, page_content>。

分詞之後：

url1 -> {我，愛，北京}

url2 -> {我，愛，到家}

url3 -> {到家，美好}

這是一個分詞後的正排索引Map<url, list<item>>。

分詞後倒排索引：

我 -> {url1, url2}

愛 -> {url1, url2}

北京 -> {url1}

到家 -> {url2, url3}

美好 -> {url3}

由檢索詞item快速找到包含這個查詢詞的網頁Map<item, list<url>>就是倒排索引。

正排索引和倒排索引是spider和build_index系統提前建立好的資料結構，為什麼要使用這兩種資料結構

提問：搜尋的過程是什麼樣的？

假設搜尋詞是“我愛”，使用者會得到什麼網頁呢？

（1）分詞，“我愛”會分詞為{我，愛}，時間複雜度為O(1)

（2）每個分詞後的item，從倒排索引查詢包含這個item的網頁list<url>，時間複雜度也是O(1)：

我 -> {url1, url2}

愛 -> {url1, url2}

（3）求list<url>的交集，就是符合所有查詢詞的結果網頁，對於這個例子，{url1, url2}就是最終的查詢結果

看似到這裡就結束了，其實不然，分詞和倒排查詢時間複雜度都是O(1)，整個搜尋的時間複雜度取決於“求list<url>的交集”，問題轉化為了求兩個集合交集。

字元型的url不利於儲存與計算，一般來說每個url會有一個數值型的url_id來標識，後文為了方便描述，list<url>統一用list<url_id>替代。

有序集合求交集的方法有

         a）二重for迴圈法，時間複雜度O(n*n)

         b）拉鍊法，時間複雜度O(n)

         c）水平分桶，多執行緒並行

         d）bitmap，大大提高運算並行度，時間複雜度O(n)

         e）跳錶，時間複雜度為O(log(n))

list1和list2，求交集怎麼求？

方案一：for * for，土辦法，時間複雜度O(n*n)

每個搜尋詞命中的網頁是很多的，O(n*n)的複雜度是明顯不能接受的。倒排索引是在建立之初可以進行排序預處理，問題轉化成兩個有序的list求交集，就方便多了。

方案二：有序list求交集，拉鍊法

有序集合1{1,3,5,7,8,9}

有序集合2{2,3,4,5,6,7}

兩個指標指向首元素，比較元素的大小：

（1）如果相同，放入結果集，隨意移動一個指標

（2）否則，移動值較小的一個指標，直到隊尾

這種方法的好處是：

（1）集合中的元素最多被比較一次，時間複雜度為O(n)

（2）多個有序集合可以同時進行，這適用於多個分詞的item求url_id交集

這個方法就像一條拉鍊的兩邊齒輪，一一比對就像拉鍊，故稱為拉鍊法

方案三：分桶並行優化

資料量大時，url_id分桶水平切分+並行運算是一種常見的優化方法，如果能將list1<url_id>和list2<url_id>分成若干個桶區間，每個區間利用多執行緒並行求交集，各個執行緒結果集的並集，作為最終的結果集，能夠大大的減少執行時間。

舉例：

有序集合1{1,3,5,7,8,9, 10,30,50,70,80,90}

有序集合2{2,3,4,5,6,7, 20,30,40,50,60,70}

求交集，先進行分桶拆分：

桶1的範圍為[1, 9]

桶2的範圍為[10, 100]

桶3的範圍為[101, max_int]

於是：

集合1就拆分成

集合a{1,3,5,7,8,9}

集合b{10,30,50,70,80,90}

集合c{}

集合2就拆分成

集合d{2,3,4,5,6,7}

集合e{20,30,40,50,60,70}

集合e{}

每個桶內的資料量大大降低了，並且每個桶內沒有重複元素，可以利用多執行緒平行計算：

桶1內的集合a和集合d的交集是x{3,5,7}

桶2內的集合b和集合e的交集是y{30, 50, 70}

桶3內的集合c和集合d的交集是z{}

最終，集合1和集合2的交集，是x與y與z的並集，即集合{3,5,7,30,50,70}

方案四：bitmap再次優化

資料進行了水平分桶拆分之後，每個桶內的資料一定處於一個範圍之內，如果集合符合這個特點，就可以使用bitmap來表示集合：

如上圖，假設set1{1,3,5,7,8,9}和set2{2,3,4,5,6,7}的所有元素都在桶值[1, 16]的範圍之內，可以用16個bit來描述這兩個集合，原集合中的元素x，在這個16bitmap中的第x個bit為1，此時兩個bitmap求交集，只需要將兩個bitmap進行“與”操作，結果集bitmap的3，5，7位是1，表明原集合的交集為{3,5,7}

水平分桶，bitmap優化之後，能極大提高求交集的效率，但時間複雜度仍舊是O(n)

bitmap需要大量連續空間，佔用記憶體較大

方案五：跳錶skiplist

有序連結串列集合求交集，跳錶是最常用的資料結構，它可以將有序集合求交集的複雜度由O(n)降至O(log(n))

集合1{1,2,3,4,20,21,22,23,50,60,70}

集合2{50,70}

要求交集，如果用拉鍊法，會發現1,2,3,4,20,21,22,23都要被無效遍歷一次，每個元素都要被比對，時間複雜度為O(n)，能不能每次比對“跳過一些元素”呢？

跳錶就出現了：

集合1{1,2,3,4,20,21,22,23,50,60,70}建立跳錶時，一級只有{1,20,50}三個元素，二級與普通連結串列相同

集合2{50,70}由於元素較少，只建立了一級普通連結串列

如此這般，在實施“拉鍊”求交集的過程中，set1的指標能夠由1跳到20再跳到50，中間能夠跳過很多元素，無需進行一一比對，跳錶求交集的時間複雜度近似O(log(n))，這是搜尋引擎中常見的演算法