全文檢索技術被廣泛的應用於搜尋引擎，查詢檢索等領域。我們在網路上的大部分搜尋服務都用到了全文檢索技術。

對於資料量大、資料結構不固定的資料可採用全文檢索方式搜尋，比如百度、Google等搜尋引擎、論壇站內搜尋、電商網站站內搜尋等。

什麼是全文檢索呢？先看一下百度百科的專業定義。

為了能更好的理解，我們先看一個簡單的例子。

案例

實現一個檔案的搜尋功能，通過關鍵字搜尋檔案，凡是檔名或檔案內容包括關鍵字的檔案都需要找出來。還可以根據中文詞語進行查詢，並且需要支援多個條件查詢。

本案例中的原始內容就是磁碟上的一些示例檔案，如下圖：

如果用資料庫實現的話，資料庫中的搜尋很容易實現，通常都是使用sql語句進行查詢，而且能很快的得到查詢結果。

為什麼資料庫搜尋很容易？

因為資料庫中的資料儲存是有規律的，有行有列而且資料格式、資料長度都是固定的。

但是，我們生活中的資料總體是分為兩種的：結構化資料和非結構化資料。

結構化資料：指具有固定格式或有限長度的資料，如資料庫，元資料等。

非結構化資料：指不定長或無固定格式的資料，如郵件，word檔案等磁碟上的檔案

結構化資料的查詢我們可以通過sql搞定，那麼非結構化的呢？

非結構化資料的查詢方法

非結構化資料查詢有兩種辦法： （1）順序掃描法(Serial Scanning)

所謂順序掃描，比如要找內容包含某一個字串的檔案，就是一個檔案一個檔案的看，對於每一個檔案，從頭看到尾，如果此檔案包含此字串，則此檔案為我們要找的檔案，接著看下一個檔案，直到掃描完所有的檔案。如利用windows的搜尋也可以搜尋檔案內容，只是相當的慢。

（2）全文檢索(Full-text Search)

將非結構化資料中的一部分資訊提取出來，重新組織，使其變得有一定結構，然後對此有一定結構的資料進行搜尋，從而達到搜尋相對較快的目的。這部分從非結構化資料中提取出的然後重新組織的資訊，我們稱之索引。

例如：字典。字典的拼音表和部首檢字表就相當於字典的索引，對每一個字的解釋是非結構化的，如果字典沒有音節表和部首檢字表，在茫茫辭海中找一個字只能順序掃描。然而字的某些資訊可以提取出來進行結構化處理，比如讀音，就比較結構化，分聲母和韻母，分別只有幾種可以一一列舉，於是將讀音拿出來按一定的順序排列，每一項讀音都指向此字的詳細解釋的頁數。我們搜尋時按結構化的拼音搜到讀音，然後按其指向的頁數，便可找到我們的非結構化資料——也即對字的解釋。

這種先建立索引，再對索引進行搜尋的過程就叫全文檢索(Full-text Search)。

雖然建立索引的過程也是非常耗時的，但是索引一旦建立就可以多次使用，全文檢索主要處理的是查詢，所以耗時間建立索引是值得的。

那麼如何實現全文檢索呢？

Lucene

提到全文檢索，不得不提到的一個技術就是Lucene，Lucene是apache下的一個開放原始碼的全文檢索引擎工具包。提供了完整的查詢引擎和索引引擎，部分文字分析引擎。我們所熟知的全文檢索引擎Solr和ES都是基於Lucene的。

• 綠色表示索引過程，對要搜尋的原始內容進行索引構建一個索引庫，索引過程包括：

確定原始內容即要搜尋的內容->採集檔案->建立檔案->分析檔案->索引檔案

• 紅色表示搜尋過程，從索引庫中搜索內容，搜尋過程包括：

使用者通過搜尋介面->建立查詢->執行搜尋，從索引庫搜尋->渲染搜尋結果

建立索引

也就是對檔案索引的過程，將使用者要搜尋的檔案內容進行索引，索引儲存在索引庫（index）中。

比如剛才的這些檔案：

我們要分析其中所有的單詞，將單詞、檔名建立對映關係。

（對於單詞的切分包括了對原始檔案提取單詞、去除停用詞等過程，這個過程被稱為分詞）

我們分析其中的一篇檔案Lucene.txt：

原檔案內容：

Lucene is a Java full-text search engine. Lucene is not a complete

application,but rather a code library and API that can easily be used

to add search capabilities to applications.

我們可以分析後得到語彙單元：

lucene、java、full、search、engine。。。。

另一個檔案flink.txt加入幾個單詞：

java flink kakfa

我們也可以得到語彙單元：

java flink kakfa

這樣我們就建立了對映關係，lucene、java、full、search在Lucene.txt中，而flink不在Lucene.txt中，但是在flink.txt中。java即在Lucene.txt中，也在flink.txt中。

那當我們查詢lucene這個詞，就在Lucene.txt中，但是查詢java時可以獲悉其在這兩個檔案中。

建立索引是對語彙單元索引，通過詞語找檔案，這種索引的結構就叫做叫倒排索引結構。

傳統方法是根據檔案找到該檔案的內容，在檔案內容中匹配搜尋關鍵字，這種方法是順序掃描方法，資料量大、搜尋慢。

倒排索引結構是根據內容（詞語）找檔案，如下圖：

倒排索引結構也叫反向索引結構，包括索引和檔案兩部分，索引即詞彙表，它的規模較小，而檔案集合較大。

有倒排索引，對應肯定，有正向索引。正向索引其實就是順序掃描所有檔案，這樣本身效率是極低的。

查詢索引

查詢索引也是搜尋的過程。搜尋就是使用者輸入關鍵字，從索引（index）中進行搜尋的過程。根據關鍵字搜尋索引，根據索引找到對應的檔案，從而找到要搜尋的內容（這裡指磁碟上的檔案）。

我們這裡就是通過查詢索引表，找到檔案所在的位置，就完成了查詢，但其他的場景可以靈活的把查詢出來的結果展示出去，比如我們的百度搜索時，為我們展示的是相關網頁。

開發一個自己的全文檢索

手動去開發建立索引和查詢索引的功能需要大量的工作，好在lucene已經幫我們完成了大量的工作，只需要呼叫java api就可以完成相關工作。

但是Lucene的API過於底層，並不簡單易用，而且缺乏企業級的管理工具對其進行監控管理，於是企業級的全文檢索引擎就應運而生了，目前最流行的兩個就是：Solr和ES。他們都是建立在Lucene之上的。

Solr

Solr是Apache Lucene專案的開源企業搜尋平臺。Solr是高度可擴充套件的，並提供了分散式搜尋和索引複製。

Solr由Java開發，執行在Servlet容器中，是一個獨立的全文搜尋伺服器。並具有強大的API和外部配置功能，使得無需編碼，便可對其調整以適應多種型別應用。

2010年Apache Lucene與Apache Solr專案合併，所以Lucene/Solr成為了Apache一個專案。

由此可見，Solr的優勢就是：

有一個成熟的開發者社群;本省比較穩定;支援多種格式的索引。

但是由於底層機制的限制，Solr的缺點也很明顯：

建立索引時，搜尋效率下降；實時索引搜尋效率不高。

ES

ES也就是Elasticsearch，是一個實時的分散式搜尋和分析引擎，它可以用於全文搜尋，結構化搜尋以及分析。

由於Lucene過於複雜，不方便使用。Elasticsearch使用Lucene作為內部引擎，但是Elasticsearch做搜尋引擎時，只需要使用同一的API就可以，而不需要了解複雜的Lucene原理。

而且Elasticsearch不僅僅可以做全文搜尋功能，在企業中可以作為：

• 分散式實時檔案儲存；
• 實時分析的分散式搜尋引擎；

Elasticsearch的Restful API友好而且簡單，特別容易上手。

目前包括維基百科、Stackoverflow、Github等都是用Elasticsearch作為其搜尋引擎。

ES簡單體驗

這裡我們簡單使用一個ES完成一個全文檢索功能。

1、下載

首先在官網下載 ，官網地址：www.elastic.co/products/el…

下載地址如下：www.elastic.co/cn/download…

選擇自己系統的我們這選擇WIndows版本。

同時我們可以下載kibana，kibana是配合ES的一個視覺化工具。

2、安裝部署

解壓 放在d盤

隨後我們在命令列啟動：

C:\Users\JN>d:
D:>cd 
D:\elasticsearch-6.4.0>cd bin
D:\elasticsearch-6.4.0\bin>elasticsearch.bat
複製程式碼

kibana也是

C:\Users\JN>d:
D:>cd kibana-6.4.0-windows-x86_64
D:\kibana-6.4.0-windows-x86_64>cd bin
D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat
複製程式碼

部署成功：可以通過localhost:9200訪問es

localhost:5601訪問kibana

3、簡單使用

我們簡單體驗一下ES，開啟kibana的DevTools工具。

分別插入兩條資料，並進行搜尋。

使用程式語言呼叫ES也與這個類似，簡單易用。