2. 程式人生 > >Lucene的基本概念----轉載yufenfei的文章

Lucene的基本概念----轉載yufenfei的文章

阿新 • • 發佈：2018-02-22
人員 功能 except delet color exce writer oid 數據結構

Lucene的基本概念

Lucene是什麽？

Lucene是一款高性能、可擴展的信息檢索工具庫。信息檢索是指文檔搜索、文檔內信息搜索或者文檔相關的元數據搜索等操作。

信息檢索流程如下：

1、 將即將檢索的資源集合放到本地，並使用某種特定的結構存儲，稱為索引，這個索引的集合稱為索引庫。由於索引庫的結構按照專門為快速查詢設計的，所以查詢的速度非常的快；

2、 搜索操作時都是在本地的索引庫中進行查找；

所以對於全文檢索功能的開發，要做兩方面：索引庫管理（維護索引庫中的數據）、在索引庫中進行搜索。而Lucene就是操作索引庫的工具；

索引庫是什麽樣子？

索引庫是一個目錄，裏面是一些二級制文件，就如同數據庫，所有的數據也是以文件的形式存放在文件系統中的。我們不能直接操作這些二級制文件，而是使用Lucene提供的API完成相應的操作，就像數據庫使用SQL語句一樣。

對索引庫的操作可以分為兩種：管理與查詢。

1、 管理索引庫使用的IndexWriter；

2、從索引庫中查詢使用IndexSearcher。

Lucene的數據結構為 Document與Field。

Document代表是一條數據，Field代表數據中的一個屬性。一個Document中有多個Field，Field的值為String型，因為Lucene只處理文本；

我們只需要把我們的程序中的對象轉換為Doucemnt，就可以交給Lucene管理了，搜索的結果中的數據列表也是Document的集合；

OK，我們來做一個實例，還原一下整個流程

1、創建一個用戶類，用於實例化用戶數據

Java代碼
  1. public class User {
  3. private Long id;
  4. private String name;
  5. private int age;
  6. private String sex;
  7. private Date birthday;
  8. public User(Long id, String name, int age, String sex, Date birthday) {
  9. super();
  10. this.id = id;
  11. this.name = name;
  12. this.age = age;
  13. this.sex = sex;
  14. this.birthday = birthday;
  15. }
  16. //get/set方法，這裏省略
  17. } 
public class User {

	private Long id;
	private String name;
	private int age;
	private String sex;
	private Date birthday;
	public User(Long id, String name, int age, String sex, Date birthday) {
		super();
		this.id = id;
		this.name = name;
		this.age = age;
		this.sex = sex;
		this.birthday = birthday;
	}
   //get/set方法，這裏省略
}

2、生成即將檢索的資源數據

Java代碼
  1. public class DataUtil {
  2. /**
  3. * 檢索資源數據的準備；
  4. * 這裏的數據可以來源數據庫、文件系統等
  5. * @return
  6. */
  7. public static List<User> getUsers(){
  8. List<User> list =new ArrayList<User>();
  9. User user =new User(1L,"張三1",20,"man",new Date());
  10. list.add(user);
  11. user =new User(2L,"張三2",20,"man",new Date());
  12. list.add(user);
  13. user =new User(3L,"張三3",20,"woman",new Date());
  14. list.add(user);
  15. user =new User(4L,"張三4",20,"man",new Date());
  16. list.add(user);
  17. user =new User(5L,"張三5",20,"man",new Date());
  18. list.add(user);
  19. user =new User(6L,"張三6",20,"woman",new Date());
  20. list.add(user);
  21. return list;
  22. }
  23. } 
public class DataUtil {
	/**
	 * 檢索資源數據的準備；
	 *   這裏的數據可以來源數據庫、文件系統等
	 * @return
	 */
	public static List<User> getUsers(){
		List<User> list =new ArrayList<User>();
		User user =new User(1L,"張三1",20,"man",new Date());
		list.add(user);
		user =new User(2L,"張三2",20,"man",new Date());
		list.add(user);
		user =new User(3L,"張三3",20,"woman",new Date());
		list.add(user);
		user =new User(4L,"張三4",20,"man",new Date());
		list.add(user);
		user =new User(5L,"張三5",20,"man",new Date());
		list.add(user);
		user =new User(6L,"張三6",20,"woman",new Date());
		list.add(user);
		return list;
	}
}

3、Lucene創建索引庫及查詢

Java代碼
  1. public class IndexWriterDemo {
  2. /**
  3. * 將即將檢索的資源寫入索引庫
  4. * @param writer
  5. * @throws Exception
  6. */
  7. public void buildDocs(IndexWriter writer)throws Exception {
  8. writer.deleteAll();//清空索引庫裏已存在的文檔（document）
  9. List<User> list = DataUtil.getUsers();//得到數據資源
  10. System.out.println("buildDocs()->總人數為 :"+list.size());
  11. for(User user :list){
  12. Document doc = new Document();//創建索引庫的文檔
  13. doc.add(new Field("id",String.valueOf(user.getId()),Store.YES,Index.NO));
  14. doc.add(new Field("name",user.getName(),Store.YES,Index.ANALYZED));
  15. doc.add(new Field("age",String.valueOf(user.getAge()),Store.YES,Index.ANALYZED));
  16. doc.add(new Field("sex",user.getSex(),Store.YES,Index.ANALYZED));
  17. doc.add(new Field("birthday",String.valueOf(user.getBirthday()),Store.YES,Index.ANALYZED));
  18. writer.addDocument(doc);//將文檔寫入索引庫
  19. }
  20. int count =writer.numDocs();
  21. writer.forceMerge(100);//合並索引庫文件
  22. writer.close();
  23. System.out.println("buildDocs()->存入索引庫的數量："+count);
  24. }
  26. /**
  27. * 從索引庫中搜索你要查詢的數據
  28. * @param searcher
  29. * @throws IOException
  30. */
  31. public void searcherDocs(IndexSearcher searcher) throws IOException{
  32. Term term =new Term("sex", "man");//查詢條件，意思是我要查找性別為“man”的人
  33. TermQuery query =new TermQuery(term);
  34. TopDocs docs =searcher.search(query, 100);//查找
  35. System.out.println("searcherDoc()->男生人數："+docs.totalHits);
  36. for(ScoreDoc doc:docs.scoreDocs){//獲取查找的文檔的屬性數據
  37. int docID=doc.doc;
  38. Document document =searcher.doc(docID);
  39. String str="ID:"+document.get("id")+",姓名："+document.get("name")+"，性別："+document.get("sex");
  40. System.out.println("人員信息:"+str);
  41. }
  42. }
  43. } 
public class IndexWriterDemo {
	/**
	 * 將即將檢索的資源寫入索引庫
	 * @param writer
	 * @throws Exception
	 */
	public void buildDocs(IndexWriter writer)throws Exception {
		writer.deleteAll();//清空索引庫裏已存在的文檔（document）
		List<User> list = DataUtil.getUsers();//得到數據資源
		System.out.println("buildDocs()->總人數為 :"+list.size());
		for(User user :list){
			Document doc = new Document();//創建索引庫的文檔
			doc.add(new Field("id",String.valueOf(user.getId()),Store.YES,Index.NO));
			doc.add(new Field("name",user.getName(),Store.YES,Index.ANALYZED));
			doc.add(new Field("age",String.valueOf(user.getAge()),Store.YES,Index.ANALYZED));
			doc.add(new Field("sex",user.getSex(),Store.YES,Index.ANALYZED));
			doc.add(new Field("birthday",String.valueOf(user.getBirthday()),Store.YES,Index.ANALYZED));
			writer.addDocument(doc);//將文檔寫入索引庫
		}
		int count =writer.numDocs();
		writer.forceMerge(100);//合並索引庫文件
		writer.close();
		System.out.println("buildDocs()->存入索引庫的數量："+count);
	}

	/**
	 * 從索引庫中搜索你要查詢的數據
	 * @param searcher
	 * @throws IOException
	 */
	public void searcherDocs(IndexSearcher searcher) throws IOException{
		Term term =new Term("sex", "man");//查詢條件，意思是我要查找性別為“man”的人
		TermQuery query =new TermQuery(term);
		TopDocs docs =searcher.search(query, 100);//查找
		System.out.println("searcherDoc()->男生人數："+docs.totalHits);
		for(ScoreDoc doc:docs.scoreDocs){//獲取查找的文檔的屬性數據
			int docID=doc.doc;
			Document document =searcher.doc(docID);
			String str="ID:"+document.get("id")+",姓名："+document.get("name")+"，性別："+document.get("sex");
			System.out.println("人員信息:"+str);
		}
	}
  }

4、測試

Java代碼
  1. public class TestIndexWriterRAMDirectory {
  2. private IndexWriter writer=null;
  3. private Directory directory=null;
  4. private IndexReader reader = null;
  5. private IndexSearcher searcher=null;
  6. private IndexWriterDemo demo =new IndexWriterDemo();
  8. @Before
  9. public void setUp() throws Exception {
  10. directory = new RAMDirectory();
  11. IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_36,new SimpleAnalyzer(Version.LUCENE_36));
  12. writer = new IndexWriter(directory,config);
  13. }
  15. @Test
  16. public void testAddDoc()throws Exception {
  17. /**生成索引庫*/
  18. demo.buildDocs(writer);
  20. /**查詢數據*/
  21. reader = IndexReader.open(directory);
  22. searcher =new IndexSearcher(reader);
  23. demo.searcherDocs(searcher);
  24. }
  25. } 
public class TestIndexWriterRAMDirectory {
	private IndexWriter writer=null;
	private Directory directory=null;
	private IndexReader reader = null;
	private IndexSearcher searcher=null;
	private IndexWriterDemo demo =new IndexWriterDemo();
	
	@Before
	public void setUp() throws Exception {
		directory = new RAMDirectory();
		IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_36,new SimpleAnalyzer(Version.LUCENE_36));
		writer = new IndexWriter(directory,config);
	}

	@Test
	public void testAddDoc()throws Exception {
		/**生成索引庫*/
		demo.buildDocs(writer);
		
		/**查詢數據*/
		reader = IndexReader.open(directory);
		searcher =new IndexSearcher(reader);
		demo.searcherDocs(searcher);
	}
}

測試結果

Java代碼
  1. buildDocs()->總人數為 :6
  2. buildDocs()->存入索引庫的數量：6
  3. searcherDoc()->男生人數：4
  4. 人員信息:ID:1,姓名：張三1，性別：man
  5. 人員信息:ID:2,姓名：張三2，性別：man
  6. 人員信息:ID:4,姓名：張三4，性別：man
  7. 人員信息:ID:5,姓名：張三5，性別：man 
buildDocs()->總人數為 :6
buildDocs()->存入索引庫的數量：6
searcherDoc()->男生人數：4
人員信息:ID:1,姓名：張三1，性別：man
人員信息:ID:2,姓名：張三2，性別：man
人員信息:ID:4,姓名：張三4，性別：man
人員信息:ID:5,姓名：張三5，性別：man

OK，代碼完畢

實例的Lucene版本為：lucene-3.6.1

在這再次說下Lucene檢索的整個流程（請參考demo的代碼）

1、建立索引的執行過程

在建立索引時，先要把文檔存到索引庫中，還要更新詞匯表。

操作步驟如下：

（1）、把數據對象轉換成相應的Document，其中的屬性轉為Field；

（2）、調用工具IndexWriter的addDocument(doc)，把Document添加到索引庫中；

（3）、Lucene做的操作：

把文檔存到索引庫中，並自動指定一個內部編號，用來唯一標識這個條數據；內部編號類似與這條數據的地址，在索引庫內部的數據進行調整後，這個編號就可能會改變，同時詞匯表中的引用的編號也會做相應的改變，以保 證正確。

更新詞匯表。把文本中的詞找出來放到詞匯表中，簡歷與文檔的對應關系。要把那些詞放到詞匯表中呢？這就用到一個叫Analyzer（分詞器）的工具。他的作用是把一段文本中的詞按照規則取出所包含的所有詞。對應的是Analyzer類，這是一個抽象類，切分詞的具體規則是由其子類實現。

在把對象的屬性轉化為 Field時，相關代碼為：

doc.add(new Field(“title”,article.getTitle(), Store.YES, Index.Analyzed))

其中第三個參數的意思為

Store.NO 不存儲屬性的值；

Store.YES 存儲屬性的值

第四個參數

Index.NO 不建立索引

Index.ANALYZED 分詞後建立索引

Index.NOT_ANALYZED 不分詞，把整個內容作為一個詞建立索引

Store是影響搜索出的結構是否有指定屬性的原始內容。

Index是影響是否可以從這個屬性中查詢，或者是查詢時可以查其中的某些詞，還是要把整個內容作為一個詞進行查詢。

2、從索引庫中搜索的執行過程（QueryParse、TopDocs、ScoreDoc）

在進行搜索時，先在詞匯表中查找，得到符合條件的文檔編號列表。再根據文檔編號真正的取數據（Document）

操作步驟如下：

（1）、把要查詢字符串轉為Query對象。這就像在Hiberante總是用HQL查詢時，也要先調用Session.createQuery(hql)轉成Hibernate的Query對象一樣。把查詢字符串轉換成Query是使用QueryParser，或者使用MultiFieldQueryParser。查詢字符串也要先經過Analyzer（分詞器）。要求檢索時使用Analyzer要與監理索引使用的Analzyer要一致，否則可能搜索不出正確的結果。

（2）、調用IndexSearcher.search()，進行查詢，得到結果。此方法返回未TopDocs，是包含結果的多個信息的一個對象。其中有totalHits代表記錄數，ScoreDoc的數組。ScoreDoc是代表一個結果的相關度得分與文檔編號等信息的對象。

（3）、取出要用到的數據列表。調用IndexSearcher.doc(scoreDoc.doc)以取出指定編號對應的Document數據，在分頁時要用到：一次只取一頁的數據。

lucene.rar

Lucene的基本概念----轉載yufenfei的文章

相關推薦

Lucene的基本概念----轉載yufenfei的文章

人員 功能 except delet color exce writer oid 數據結構 Lucene的基本概念 Lucene是什麽？ Lucene是一款高性能、可擴展的信息檢索工具庫。信息檢索是指文檔搜索、文檔內信息搜索或者文檔相關的元數據搜索等操作。

機器學習基本概念總結（轉載）

9.png png log images es2017 enter 08-18 機器學習 style 機器學習基本概念總結（轉載）

DNS基本概念及操作詳解----------------轉載

dns介紹 DNS基本概念及操作詳解目錄：1.DNS協議2.DNS查詢 2.1遞歸查詢 2.2跌代查詢 2.3反向查詢3.域維護 3.1全量AXFR傳輸 3.2增量IXFR傳輸 3.3通過NOTIFY 3.4動態更新4.DNS安全 在很多人看來，DNS只是為外部提供DNS解析服務（我以前也是這麽認為

[轉載]Matlab與Fortran的互動--基本概念

轉載自 http://blog.sina.com.cn/s/blog_476687050100bw5j.html 如果需要進行Matlab環繞Fortran語言的互動，必須通過Matlab提供的應用程式設計介面（API）來實現與外部的介面，從而可以在Matlab 環境中

Python：這有可能是最詳細的PIL庫基本概念文章了

PIL有如下幾個模組：Image模組、ImageChops模組、ImageCrackCode模組、ImageDraw模組、ImageEnhance模組、ImageFile模組、ImageFileIO模組、ImageFilter模組、ImageFont模組、ImageGrab模組、ImageOps模組

ECMAScript基本概念

fin tro ren pro ima ring 變量 調用 fine 1.數據類型 基本數據類型（簡單類型）：Undefined 、Null、String、Boolean、Number 復雜數據類型:Object（和面向對象裏說的類有點相似） 2.變量命名規則 區

ActiveMq的基本概念

要求 更新 它的 高性能 將不 程序 一個 目的 性能 1) 隊列管理器 隊列管理器是MQ系統中最上層的一個概念，由它為我們提供基於隊列的消息服務。 2) 消息 在MQ中，消息分為兩種類型，非永久性(non-persistent)消息和永久性(persistent)消息，非

【Spark深入學習-11】Spark基本概念和運行模式

nmf 磁盤 大數據平臺 並不是 鼠標 .cn 管理系統 大型數據集 spa ----本節內容------- 1.大數據基礎 1.1大數據平臺基本框架 1.2學習大數據的基礎 1.3學習Spark的Hadoop基礎 2.Hadoop生態基本介紹 2.1

MySQL基本概念以及簡單操作

software 倉庫 必須 key 不能 即使 同時 databases ecif 一、MySQL 　　MySQL是一個關系型數據庫管理系統，由瑞典MySQL AB 公司開發，目前屬於Oracle 旗下產品。MySQL 是最流行的關系型數據庫管理系統之一，在 WEB

一、網絡的基本概念

網絡基礎、osi七層協議、tcp三次握手、四次斷開1.1、網絡組成組件 一般來說，兩臺或以上計算機使用任意介質(電纜、光纖或無線電波)、任意網絡(TCP/UDP、NetBEUI或IPX/SPX)來進行連接，並進行資源共享及通信，就可以稱為計算機網絡。網絡協議是網絡上建立通信及傳輸數據的雙方必須遵守的通信標準

Oracle RAC基本概念

特定 遷移 解決方案 開發人員 安裝配置 獲得 情況 網格 play 　　原文鏈接：http://tech.it168.com/a2012/0814/1384/000001384756_all.shtml 　　不同的集群產品都有自己的特點，RAC的特點包括如下幾點： 　　·

Linux 02 Linux基本概念及操作

調用 manual 如何 滾動 示例 函數 script 部分 ctrl+ 基本echo "hello word" 輸出 hello wordtouch file 創建文件名為file 常用快捷鍵TAB：在忘記命令時，可以用來補全命令Ctrl+c：強制終止

3.6 Lucene基本檢索+關鍵詞高亮+分頁

trac 16px b- 標註 enter author amp 影響 重要 3.2節我們已經運行了一個Lucene實現檢索的小程序，這一節我們將以這個小程序為例，講一下Lucene檢索的基本步驟，同時介紹關鍵詞高亮顯示和分頁返回結果這兩個有用的技巧。 一、Lucene檢索

C#多線程之旅(1)——介紹和基本概念

隔離 cnblogs 影響 3-0 同時 ima 並行 logic mes 閱讀目錄 一、多線程介紹 二、Join 和Sleep 三、線程怎樣工作 四、線程和進程 五、線程的使用和誤用 原文地址：C#多線程之旅(1)——介紹和基本概念 C#多線程之旅目錄： C#

面向對象的一些重要的基本概念

計算機 簡單 int overload 其他 style 可擴展 mic 自動 隨著編程經驗的不斷積累，我對編程的理解也在不斷的更新變化，剛開始接觸到的C語言，感覺比較簡單，而且非常有感覺，很有意思，後來是數據結構，然後在學習數據結構的時候了解到編程都有一種非常神秘的算法存

Python簡明教程：基本概念

python1 字面意義上的常量，如2、‘This is ok‘這樣的字符串>>> print(‘a,2,3‘)a,2,32 字符串單引號（‘）使用單引號指示字符串，類似shell中的強引用，所有的空格、制表符照原樣保留。>>> print(‘This is ok‘)Thi

Elasticsearch基本概念及核心配置文件詳解

last log4j 強烈 內存 文檔 size oca 機制 集群 　　Elasticsearch5.X,下列的是Elasticsearch2.X系類配置，其實很多配置都是相互兼容的 1. 配置文件 config/elasticsearch.yml 主配置文件

Git學習系列-Git基本概念

修改文件 initial config colspan 信息 stage ati 當前 目錄 本系列基於Pro Git介紹如何使用Git進行源代碼管理，以及後期如何使用Git進行項目管理。 系列初步目錄如下： 1. Git基本概念 2. Git分支操作 後續待定。 Git的

Wiresahrk基本概念

wiresharkWireshark 是網絡包分析工具，主要作用是嘗試捕獲網絡包， 並嘗試顯示數據包盡可能詳細的情況Wireshark不會處理網絡事務，它僅僅是“測量”(監視)網絡Wireshark是開源軟件項目,不用擔心授權和付費問題Wiresahrk簡史1997年以後，Gerald Combs 需要一個工

JavaScript初學基本概念和語法

end 區分 基本概念 arguments rop delete 數量 amp nbsp ECMAScript 的語法大量借鑒了C及其他類C語言（如Java 和Perl）的語法。 1. 區分大小寫 2.標識符 2.1 第一個字符必須是一個字母、下劃線（_)或一個美元符