目錄

一 Lucene.NET概述

二 分詞

三 索引

四 搜尋

五 實踐中的問題

一 Lucene.Net概述

　　Lucene.Net是一個C#開發的開源全文索引庫，其原始碼包括“核心”與“外圍”兩部分。外圍部分實現輔助功能，而核心部分包括：

• Lucene.Net.Index 提供索引管理，片語排序。
• Lucene.Net.Search 提供查詢相關功能。
• Lucene.Net.Store 支援資料儲存管理，主要包括I/O操作。
• Lucene.Net.Util 公共類。
• Lucene.Net.Documents 負責描述索引儲存時的檔案結構管理。
• Lucene.Net.QueryParsers 提供查詢語法。
• Lucene.Net.Analysis 負責分析文字。

　　全文檢索流程如下：

　　一個簡單的全文檢索例項：

　　建立索引：

　　關鍵程式碼形如：

1. staticvoid createIndex(string title, string content)  
2.       {  
3.           LN.Analysis.Analyzer analyzer = new LN.Analysis.Standard.StandardAnalyzer();  
4.           LN.Index.IndexWriter iw = new
    LN.Index.IndexWriter("Index", analyzer, false);  
5.           LN.Documents.Document document = new LN.Documents.Document();  
6.           document.Add(new LN.Documents.Field("title", title, LN.Documents.Field.Store.YES, LN.Documents.Field.Index.TOKENIZED));  
7.           document.Add(new LN.Documents.Field(
   "content", content, LN.Documents.Field.Store.YES, LN.Documents.Field.Index.TOKENIZED));  
8.           iw.AddDocument(document); iw.Optimize(); iw.Close();  
9.       }  

　　查詢：

 　　關鍵程式碼形如：

1. static List<Item> search(string keyWord)  
2.        {  
3.            List<Item> results = new List<Item>();  
4.            LN.Analysis.Analyzer analyzer = new LN.Analysis.Standard.StandardAnalyzer();  
5.            LN.Search.IndexSearcher searcher = new LN.Search.IndexSearcher("Index");  
6.            LN.QueryParsers.MultiFieldQueryParser parser = new LN.QueryParsers.MultiFieldQueryParser(newstring[] { "title", "content" }, analyzer);  
7.            LN.Search.Query query = parser.Parse(keyWord);  
8.            LN.Search.Hits hits = searcher.Search(query);  
9.            for (int i = 0; i < hits.Length(); i++)  
10.            {  
11.                LN.Documents.Document doc = hits.Doc(i);  
12.                results.Add(new Item() { Title = doc.Get("title"), Content = doc.Get("content") });  
13.            } searcher.Close();  
14.            return results;  
15.        }  

二 分詞

（一）內建分詞器

　　分詞（切詞）是實現全文檢索的基礎，之所以我們能夠讓機器理解我們的自然語言，是因為有了分詞的幫助。分詞工作由Analyzer類完成，它負責把文字切成Token序列，Token就是索引中的單詞。Lucene.Net在兩個地方用到分詞：建立文件索引和分析搜尋關鍵字。其過程示意如下：

　　由此可知，在建立索引和搜尋時，必須使用同樣的分詞器，保證其切出相同的Token才能檢索到結果。（Lucene.Net把查詢關鍵字中的單詞叫做“Term”，Term和Token的文字是一樣的，只是某些屬性不一樣。）

　　Lucene.Net實現了一些分詞器，其對英文支援較好，但是對中文支援欠佳。

　　針對內建分詞器測試結果如下：

　　關鍵程式碼形如：

1. privatestatic List<string> cutWords(string words, Analyzer analyzer)  
2.      {  
3.          List<string> results = new List<string>();  
4.          TokenStream ts = analyzer.ReusableTokenStream("", new StringReader(words));  
5.          Token token; while ((token = ts.Next()) != null)  
6.          {  
7.              results.Add(token.TermText());  
8.          }  
9.          ts.Close();  
10.          return results;  
11.      }  

　　可見，除了StandardAnalyzer外，其它分詞器對中文基本無法處理，需要使用者自行解決。

（二）分詞過程

　　分詞實際是由以下型別完成：

　　檢視WhitespaceAnalyzer的部分原始碼如下：

1. publicsealedclass WhitespaceAnalyzer:Analyzer {  
2.           publicoverride TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader) {   
3.               returnnew WhitespaceTokenizer(reader);   
4.           }　　　  
5.           ...  
6.       }  

　　由此可見，WhitespaceAnalyzer的工作都是交給WhitespaceTokenizer來完成的，並且沒有使用篩選器，這也與之前測試的結果相符。我們可以利用TokenStream的派生型別來實現自定義分詞器。 例如修改上述程式碼來得到一個新的分詞器，功能類似WhitespaceAnalyzer，不同的是將大寫字母變為小寫，其程式碼形如：

1. publicsealedclass NewWhitespaceAnalyzer:Analyzer {   
2.     publicoverride TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader) {   
3.         TokenStream ts = new WhitespaceTokenizer(reader);   
4.         returnnew LowerCaseFilter(ts);  
5.     }　　　　  
6.     ...   
7. }  

（三）中文分詞

　　顯然，使用者可以自定義分詞器，來實現中文分詞。但是，大多數使用者不熟悉中文分詞演算法，同時也沒有時間和精力來實現自定義分詞，畢竟分詞並不是我們系統的核心功能。因此，筆者引用了另一箇中文分片語件——盤古分詞。測試結果如下：

　　盤古分詞使用步驟如下：

Setp 1：新增相關程式集引用

這裡需要新增2個程式集，PanGu.dll（盤古分詞的核心元件）和PanGu.Lucene.Analyzer.dll（盤古分詞的Lucene元件）。

Step 2：新增中文分詞庫

Step 3：新增並設定配置檔案

Step 4：在Lucene.Net使用盤古分詞

　　PanGu.Lucene.Analyzer.dll中定義了Analyzer的派生型別Lucene.Net.Analysis.PanGu.PanGuAnalyzer，與Tokenizer的派生類Lucene.Net.Analysis.PanGu.PanGuTokenizer，語法與Lucene.Net內建分詞器相同。

Step 5：維護分詞庫

　　使用DictManage.exe管理和維護詞庫：

三 索引

（一）索引的儲存結構

　　為了方便索引大量文件，Lucene.Net中的一個索引包括多個子索引，叫做Segment（段）。每個Segment包括多個可搜尋的文件，叫做Document；每個Document包括多個Field；每個Field又包括多個Term。綜上所述，Lucene.Net的索引檔案的邏輯結構如下：

　　索引檔案的物理表示如下：

　　Lucene.Net把一個文件寫入索引時，首先生成這個文件的到排索引，然後再把文件的倒排索引合併到段的倒排索引中。

（二）常用型別

• Directory Lucene.Net的Directory型別實現索引的儲存。常用型別繼承樹如下：

• IndexWriter 負責將索引寫入Directory。Lucene通過設定快取來提供寫索引的速度，IndexWriter有幾個引數來調整快取的大小，控制Segment的數量，以及寫索引的頻率：

1. 1. 合併因子（mergeFactor） 這個引數決定一個索引塊中可以存放多少文件（Document）以及把磁碟上的索引段（Segment）合併成一個大索引段的頻率。該引數預設值為10。在預設情況下，快取中Document數達到10時，所有的文件將寫入一個新的Segment。並且，如果Directory的Segment的個數達到10，這10個索引塊會被合併成一個新的Segment。對於大量文件來說，這個值大一些會更好。可以通過“SetMergeFactor(int mergeFactor)”方法來設定、
   2. 最小合併文件數（minMergeDocs）、最大快取文件數（maxBufferedDocs） 預設值為10，它決定快取中Document數量達到多少才能將他們寫入磁碟。該值越大越消耗記憶體，I/O操作越少。（本處，筆者也有些糊塗，筆者感覺兩者類似，不知道具體區別，若理解有誤還請讀者賜教。）
   3. 最大合併文件數（maxMergeDocs） 預設值為Integer.MAX_VALUE，它決定一個索引段（Segment）中的最大文件（Document）數。該值越大越高效，因為預設值以及很大了所以不用改變。
   4. 最大域長度（maxFieldLength） 預設值10000，表示擷取該域中的前10000個Term，前10000個以外的Term將不被索引和檢索。該值可在索引中隨時更改，並即時生效（僅對之後的操作生效，一般該值設定為Integer.MAX_VALUE）。

　　　　IndexWriter的常用方法包括：

1. 1. Flush/Commit Flush方法與Commit方法相同，都是把快取中的資料提交，可以清除快取。
   2. Close 無論是否發生異常都必須呼叫Close方法，該方法將對檔案進行解鎖，並完成Flush方法的功能。
   3. Optimize Optimize方法用於優化索引，執行相當耗時。

• Document 包含了可索引文件的資訊。每個Document都有一個編號，但該編號並非永遠不變。
• Field 類似實體的某個屬性，就像資料庫中的一個列，其成員如下：

　　（可以看到，Index的某些欄位我給出的相同的註釋，這是因為向下相容的目的而具有相同的作用。注：高亮顯示將用的TermVector。）

　　常用列選項組合及用法如下：

Index	Store	TermVector	用法
NOT_ANSLYZED	YES	NO	檔名、主鍵
ANSLYZED	YES	WITH_POSITUION_OFFSETS	標題、摘要
ANSLYZED	NO	WITH_POSITUION_OFFSETS	很長的全文
NO	YES	NO	文件型別
NOT_ANSLYZED	NO	NO	隱藏的關鍵詞

（三）建立索引

　　建立索引流程如下：

相關推薦