什麼是全文檢索？

我們實際中的資料總體分為兩種：結構化資料和非結構化資料。

1. 結構化資料：指具有固定格式或有限長度的資料，如資料庫，元資料，Excle，cvs等。
2. 非結構化資料：指不定長或無固定格式的資料，如文章，word文件等。

非結構化資料又叫做全文資料，我更傾向於全文資料，全文資料更加明顯的說明了非結構化資料的特徵。

同理： 按照資料的劃分，資料的檢索也分為兩種：

1. 對結構化資料的搜尋：如對資料庫的搜尋，用SQL語句。再如對元資料的搜尋，如利用windows搜尋對檔名，型別，修改時間進行搜尋等。
2. 對非結構化資料的搜尋：如利用windows的搜尋也可以搜尋檔案內容，Linux下的grep命令，再如用Google和百度可以搜尋大量非結構化內容資料。

非結構化資料搜尋方法

• 順序掃描法(Serial Scanning) 所謂順序掃描，比如要找內容包含某一個字串的檔案，就是一個文件一個文件的看，對於每一個文件，從頭看到尾，如果此文件包含此字串，則此文件為我們要找的檔案，接著看下一個檔案，直到掃描完所有的檔案。 例如Linux下的grep命令是這一種方式。大家可能覺得這種方法比較原始，但對於小資料量的檔案，這種方法還是最直接，最方便的。但是對於大量的檔案，這種方法就很慢.
• 全文檢索(Full-text Search) 全文檢索的基本思路：將非結構化資料中的一部分資訊提取出來，重新組織，使其變得有一定結構，然後對此有一定結構的資料進行搜尋，從而達到搜尋相對較快的目的。 這部分從非結構化資料中提取出的然後重新組織的資訊，我們稱之索引。 這種先建立索引，再對索引進行搜尋的過程就叫全文檢索(Full-text Search)。

Lucene 簡介

Lucene 是一個基於 Java 的全文資訊檢索工具包，它不是一個完整的搜尋應用程式，而是為你的應用程式提供索引和搜尋功能。Lucene 目前是 Apache Jakarta 家族中的一個開源專案。也是目前最為流行的基於 Java 開源全文檢索工具包。

目前已經有很多應用程式的搜尋功能是基於 Lucene 的，比如 Eclipse 的幫助系統的搜尋功能。Lucene 能夠為文字型別的資料建立索引，所以你只要能把你要索引的資料格式轉化的文字的，Lucene 就能對你的文件進行索引和搜尋。比如你要對一些 HTML 文件，PDF 文件進行索引的話你就首先需要把 HTML 文件和 PDF 文件轉化成文字格式的，然後將轉化後的內容交給 Lucene 進行索引，然後把建立好的索引檔案儲存到磁碟或者記憶體中，最後根據使用者輸入的查詢條件在索引檔案上進行查詢。不指定要索引的文件的格式也使 Lucene 能夠幾乎適用於所有的搜尋應用程式。

如下圖 表示了搜尋應用程式和 Lucene 之間的關係，也反映了利用 Lucene 構建搜尋應用程式的流程：

索引和搜尋

索引是現代搜尋引擎的核心，建立索引的過程就是把源資料處理成非常方便查詢的索引檔案的過程。為什麼索引這麼重要呢，試想你現在要在大量的文件中搜索含有某個關鍵詞的文件，那麼如果不建立索引的話你就需要把這些文件順序的讀入記憶體，然後檢查這個文章中是不是含有要查詢的關鍵詞，這樣的話就會耗費非常多的時間，想想搜尋引擎可是在毫秒級的時間內查找出要搜尋的結果的。這就是由於建立了索引的原因，你可以把索引想象成這樣一種資料結構，他能夠使你快速的隨機訪問儲存在索引中的關鍵詞，進而找到該關鍵詞所關聯的文件。Lucene 採用的是一種稱為反向索引（inverted index）的機制。反向索引就是說我們維護了一個詞 / 短語表，對於這個表中的每個詞 / 短語，都有一個連結串列描述了有哪些文件包含了這個詞 / 短語。這樣在使用者輸入查詢條件的時候，就能非常快的得到搜尋結果。 對文件建立好索引後，就可以在這些索引上面進行搜尋了。搜尋引擎首先會對搜尋的關鍵詞進行解析，然後再在建立好的索引上面進行查詢，最終返回和使用者輸入的關鍵詞相關聯的文件。

Lucene倒排索引

前面我們說到了索引其實是一種資料結構（Mysql的索引其實也是B+樹資料結構），實際使用過程中，我們全文檢索文件都是通過檢索我們關心的詞／短語來確定哪些文件是我們所需要的，Lucene倒排索引可以理解為我們維護了一個連結串列來描述我們需要檢索的詞／短語出現在哪些文件裡面。 這種索引表中的每一項都包括一個詞／短語和具有該詞／短語的各記錄的地址。由於不是先定位文件再具體確定我們關心的詞／短語，而是先檢索我們關心的詞／短語來確定文件，因而稱為倒排索引(inverted index)。 帶有倒排索引的檔案我們稱為倒排索引檔案，簡稱倒排檔案(inverted file)。

倒排檔案（倒排索引），索引物件是文件或者文件集合中的單詞等，用來儲存這些單詞在一個文件或者一組文件中的儲存位置，是對文件或者文件集合的一種最常用的索引機制。

搜尋引擎的關鍵步驟就是建立倒排索引，倒排索引一般表示為一個關鍵詞，然後是它的頻度（出現的次數），位置（出現在哪一篇文章或網頁中，及有關的日期，作者等資訊），它相當於為網際網路上幾千億頁網頁做了一個索引，好比一本書的目錄、標籤一般。讀者想看哪一個主題相關（關鍵詞相關）的章節，直接根據目錄（相當於索引）即可定位相關的頁面。不必再從書的第一頁到最後一頁，一頁一頁的查詢。

Lucene倒排索引的實現

Lucerne使用的是倒排檔案索引結構。該結構及相應的生成演算法如下： 設有兩篇文章1和文章2：

• 文章1的內容為：Tom lives in Guangzhou,I live in Guangzhou too.
• 文章2的內容為：He once lived in Shanghai.

分析提取關鍵詞

1. 我們現在有的是文章內容，即一個字串，我們先要找出字串中的所有單詞，即分詞。英文單詞由於用空格分隔，比較好處理。中文單詞間是連在一起的需要特殊的分詞處理。
2. 文章中的”in”, “once” “too”等詞沒有什麼實際意義，中文中的“的”“是”等字通常也無具體含義，這些 不代表概念 的詞可以過濾掉。
3. 使用者通常希望查“He”時能把含“he”，“HE”的文章也找出來，所以所有單詞需要統一大小寫 。
4. 使用者通常希望查“live”時能把含“lives”，“lived”的文章也找出來，所以需要把“lives”，“lived”還原成“live” 。
5. 文章中的標點符號通常不表示某種概念，也可以過濾掉 。

在lucene中以上措施由Analyzer類完成。 經過上面處理後：

• 文章1的所有關鍵詞為：[tom] [live] [guangzhou] [i] [live] [guangzhou]
• 文章2的所有關鍵詞為：[he] [live] [shanghai]

建立倒排索引

有了關鍵詞後，我們就可以建立倒排索引了。上面的對應關係是：“文章號”對“文章中所有關鍵詞”。倒排索引把這個關係倒過來，變成: “關鍵詞”對“擁有該關鍵詞的所有文章號”。

文章1，2經過倒排後變成 ：

通常僅知道關鍵詞在哪些文章中出現還不夠，我們還需要知道關鍵詞在文章中出現次數和出現的位置 ，通常有兩種位置：

• 字元位置 ，即記錄該詞是文章中第幾個字元（優點是關鍵詞亮顯時定位快）；
• 關鍵詞位置 ，即記錄該詞是文章中第幾個關鍵詞（優點是節約索引空間、片語（phase）查詢快），lucene中記錄的就是這種位置。

加上“出現頻率”和“出現位置”資訊後，我們的索引結構變為：

以live 這行為例我們說明一下該結構：live在文章1中出現了2次，文章2中出現了一次，它的出現位置為“2,5,2”這表示什麼呢？我們需要結合文章號和出現頻率來分析，文章1中出現了2次，那麼“2,5”就表示live在文章1中出現的兩個位置，文章2中出現了一次，剩下的“2”就表示live是文章2中第 2個關鍵字。

以上就是lucene索引結構中最核心的部分。我們注意到關鍵字是按字元順序排列 的（lucene沒有使用B樹結構），因此lucene可以用二元搜尋演算法快速定位關鍵詞 。

具體實現

實現時，lucene將上面三列分別作為詞典檔案（Term Dictionary）、頻率檔案(frequencies)、位置檔案 (positions)儲存。其中詞典檔案不僅儲存有每個關鍵詞，還保留了指向頻率檔案和位置檔案的指標，通過指標可以找到該關鍵字的頻率資訊和位置資訊。

Lucene中使用了field的概念，用於表達資訊所在位置（如標題中，文章中，url中），在建索引中，該field資訊也記錄在詞典檔案中，每個關鍵詞都有一個field資訊(因為每個關鍵字一定屬於一個或多個field)。

壓縮演算法

為了減小索引檔案的大小，Lucene對索引還使用了壓縮技術。

首先，對詞典檔案中的關鍵詞進行了壓縮，關鍵詞壓縮為<字首長度，字尾>，例如：當前詞為“阿拉伯語”，上一個詞為“阿拉伯”，那麼“阿拉伯語”壓縮為<3，語>。

其次大量用到的是對數字的壓縮，數字只儲存與上一個值的差值（這樣可以減小數字的長度，進而減少儲存該數字需要的位元組數）。例如當前文章號是16389（不壓縮要用3個位元組儲存），上一文章號是16382，壓縮後儲存7（只用一個位元組）。

應用原因

下面我們可以通過對該索引的查詢來解釋一下為什麼要建立索引。 　　 假設要查詢單詞 “live”，lucene先對詞典二元查詢、找到該詞，通過指向頻率檔案的指標讀出所有文章號，然後返回結果。詞典通常非常小，因而，整個過程的時間是毫秒級的。

而用普通的順序匹配演算法，不建索引，而是對所有文章的內容進行字串匹配，這個過程將會相當緩慢，當文章數目很大時，時間往往是無法忍受的。