全文檢索技術是資訊檢索技術的一種，主要是使用者的查詢請求和全文中的每一個詞進行比較，不考慮查詢請求和文件的語法上的匹配，在資訊檢索工具中，全文檢索技術是最通用的和實用的。簡單的說先建立索引，再對索引進行搜尋的過程就叫全文檢索（Full-text  Search）

我們把每次從結構化和非結構化的資料中提取出來的資訊然後重寫組合成資訊，這部分資訊叫索引

建立索引一般使用倒排索引技術，每次先把文件生產索引資料，查詢時使用相同的分詞效果使用同一個分詞器進行分詞

由於更新單個文件，工作量很大，我們使用先刪除再插入文件建立索引。將文件中的常用的語氣詞什麼的‘的’、‘和’這樣一類詞設定在停用字典中不對他進行生產，在搜尋時也能加快搜索速度。

lucene 的官網： http://lucene.apache.org/core/index.html

這種先建立索引，再對索引進行搜尋的過程就叫全文檢索(Full-text Search)

這也是全文搜尋相對於順序掃描的優勢之一：一次索引，多次使用。

在這裡我們使用的是反向索引從字串到檔案，字元組成的字串和每個字元指向一個倒排索引列的文件，共同組成了字典

建立索引的過程：將文件分成一個個單詞，去除標點符號，去除停用詞，經過分詞（Tokenizer）後得到詞元（Token）

將詞元轉換為語言處理元件主要是對得到的詞元（Token）做一些語言相關的處理

1.變為小寫

2. 將單詞縮減為詞根形式，如“cars ”到“car ”等。這種操作稱為：stemming 。

3. 將單詞轉變為詞根形式，如“drove ”到“drive ”等。這種操作稱為：lemmatization 。

找出詞對文件的重要過程稱為計算詞的權重過程

計算詞的權重(term weight)有兩個引數，第一個是詞(Term)，第二個是文件(Document)。

判斷詞之間的關係從而得到文件相關性的過程應用一種叫做向量空間模型的演算法（Vector Space Model）

計算權重：Term frequency:表明term在文件中出現了多少次tf越大越重要，document  Frquency 表示多少個文件出現過這個term，df越大越不重要

權重=tf×log（n/df）  -----------------------------n為在所有文件中這個詞出現的總的次數

這只是term的權重計算

這僅僅只term weight計算公式的簡單典型實現。實現全文檢索系統的人會有自己的實現，Lucene就與此稍有不同。

2. 判斷Term之間的關係從而得到文件相關性的過程，也即向量空間模型的演算法(VSM)。

我們把文件看作一系列詞(Term)，每一個詞(Term)都有一個權重(Term weight)，不同的詞(Term)根據自己在文件中的權重來影響文件相關性的打分計算。

於是我們把所有此文件中詞(term)的權重(term weight) 看作一個向量。

Document = {term1, term2, …… ,term N}

Document Vector = {weight1, weight2, …… ,weight N}

同樣我們把查詢語句看作一個簡單的文件，也用向量來表示。

Query = {term1, term 2, …… , term N}

Query Vector = {weight1, weight2, …… , weight N}

我們把所有搜尋出的文件向量及查詢向量放到一個N維空間中，每個詞(term)是一維。

如圖：

我們認為兩個向量之間的夾角越小，相關性越大。

所以我們計算夾角的餘弦值作為相關性的打分，夾角越小，餘弦值越大，打分越高，相關性越大。

有人可能會問，查詢語句一般是很短的，包含的詞(Term)是很少的，因而查詢向量的維數很小，而文件很長，包含詞(Term)很多，文件向量維數很大。你的圖中兩者維數怎麼都是N呢？

在這裡，既然要放到相同的向量空間，自然維數是相同的，不同時，取二者的並集，如果不含某個詞(Term)時，則權重(Term Weight)為0。

相關性打分公式如下：

舉個例子，查詢語句有11個Term，共有三篇文件搜尋出來。其中各自的權重(Term weight)，如下表格。

於是計算，三篇文件同查詢語句的相關性打分分別為：

於是文件二相關性最高，先返回，其次是文件一，最後是文件三。

到此為止，我們可以找到我們最想要的文件了。

說了這麼多，其實還沒有進入到Lucene，而僅僅是資訊檢索技術(Information retrieval)中的基本理論，然而當我們看過Lucene後我們會發現，Lucene是對這種基本理論的一種基本的的實踐。所以在以後分析Lucene的文章中，會常常看到以上理論在Lucene中的應用。

在進入Lucene之前，對上述索引建立和搜尋過程所一個總結，如圖：

1. 索引過程：

1) 有一系列被索引檔案

2) 被索引檔案經過語法分析和語言處理形成一系列詞(Term) 。

3) 經過索引建立形成詞典和反向索引表。

4) 通過索引儲存將索引寫入硬碟。

2. 搜尋過程：

a) 使用者輸入查詢語句。

b) 對查詢語句經過語法分析和語言分析得到一系列詞(Term) 。

c) 通過語法分析得到一個查詢樹。

d) 通過索引儲存將索引讀入到記憶體。

e) 利用查詢樹搜尋索引，從而得到每個詞(Term) 的文件連結串列，對文件連結串列進行交，差，並得到結果文件。

f) 將搜尋到的結果文件對查詢的相關性進行排序。