2. 程式人生 > >一步一步跟我學習lucene（7）---lucene搜尋之IndexSearcher構建過程

一步一步跟我學習lucene（7）---lucene搜尋之IndexSearcher構建過程

阿新 • • 發佈：2019-01-25
最近一直在寫一步一步跟我學習lucene系列（http://blog.csdn.net/wuyinggui10000/article/category/3173543），個人的部落格也收到了很多的訪問量，謝謝大家的關注，這也是對我個人的一個激勵，O(∩_∩)O哈哈~，個人感覺在部落格的編寫過程中自己收穫了很多，我會一直繼續下去，在工作的過程中自己也會寫出更多類似系列的部落格，也算是對自己只是的一種積累；

IndexSearcher

搜尋引擎的構建分為索引內容和查詢索引兩個大方面，這裡要介紹的是lucene索引查詢器即IndexSearcher的構建過程；

首先了解下IndexSearcher：

  • IndexSearcher提供了對單個IndexReader的查詢實現；
  • 我們對索引的查詢，可以通過呼叫search(Query,n)或者search(Query,Filter,n)方法；
  • 在索引內容變動不大的情況下，我們可以對索引的搜尋採用單個IndexSearcher共享的方式來提升效能；
  • 如果索引有變動，我們就需要使用DirectoryReader.openIfChanged(DirectoryReader)來獲取新的reader，然後建立新的IndexSearcher物件；
  • 為了使查詢延遲率低，我們最好使用近實時搜尋的方法（此時我們的DirectoryReader的構建就要採用DirectoryReader.open(IndexWriter, boolean)）

  • IndexSearcher例項是完全執行緒安全的,這意味著多個執行緒可以併發呼叫任何方法。如果需要外部同步,無需新增IndexSearcher的同步；

IndexSearcher的建立過程

  • 根據索引檔案路徑建立FSDirectory的例項，返回的FSDirectory例項跟系統或執行環境有關，對於Linux, MacOSX, Solaris, and Windows 64-bit JREs返回的是一個MMapDirectory例項，對於其他非windows JREs環境返回的是NIOFSDirectory，而對於其他Windows的JRE環境返回的是SimpleFSDirectory，其執行效率依次降低
  • 接著DirectoryReader根據獲取到的FSDirectory例項讀取索引檔案並得到DirectoryReader物件；DirectoryReader的open方法返回例項的原理：讀取索引目錄中的Segments檔案內容，倒序遍歷SegmentInfos並填充到SegmentReader（IndexReader的一種實現）陣列，並構建StandardDirectoryReader的例項DirectoryReader.open方法執行過程
  • 有了IndexReader，IndexSearcher物件例項化就手到拈來了，new IndexSearcher(DirectoryReader)就可以得到其例項；如果我們想提高IndexSearcher的執行效率可以new IndexSearcher(DirecotoryReader,ExcuterService)來建立IndexSearcher物件，這樣做的好處為對每塊segment採用了分工查詢，但是要注意IndexSearcher並不維護ExcuterService的生命週期，我們還需要自行呼叫ExcuterService的close/awaitTermination

相關實踐

以下是根據IndexSearcher相關的構建過程及其特性編寫的一個搜尋的工具類

package com.lucene.search;

import java.io.File;
import java.io.IOException;
import java.nio.file.Paths;
import java.util.concurrent.ExecutorService;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.MultiReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.BooleanClause.Occur;
import org.apache.lucene.search.BooleanQuery;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.MatchAllDocsQuery;
import org.apache.lucene.search.NumericRangeQuery;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.Sort;
import org.apache.lucene.search.SortField;
import org.apache.lucene.search.SortField.Type;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.TopFieldCollector;
import org.apache.lucene.store.FSDirectory;

import com.lucene.index.IndexUtil;

public class SearchUtil {
	public static final Analyzer analyzer = new StandardAnalyzer();
	/**獲取IndexSearcher物件（適合單索引目錄查詢使用）
	 * @param indexPath 索引目錄
	 * @return
	 * @throws IOException
	 * @throws InterruptedException 
	 */
	public static IndexSearcher getIndexSearcher(String indexPath,ExecutorService service,boolean realtime) throws IOException, InterruptedException{
		DirectoryReader reader = DirectoryReader.open(IndexUtil.getIndexWriter(indexPath, true), realtime);
		IndexSearcher searcher = new IndexSearcher(reader,service);
		if(service != null){
			service.shutdown();
		}
		return searcher;
	}
	
	/**多目錄多執行緒查詢
	 * @param parentPath 父級索引目錄
	 * @param service 多執行緒查詢
	 * @return
	 * @throws IOException
	 * @throws InterruptedException 
	 */
	public static IndexSearcher getMultiSearcher(String parentPath,ExecutorService service,boolean realtime) throws IOException, InterruptedException{
		MultiReader multiReader;
		File file = new File(parentPath);
		File[] files = file.listFiles();
		IndexReader[] readers = new IndexReader[files.length];
		if(!realtime){
			for (int i = 0 ; i < files.length ; i ++) {
				readers[i] = DirectoryReader.open(FSDirectory.open(Paths.get(files[i].getPath(), new String[0])));
			}
		}else{
			for (int i = 0 ; i < files.length ; i ++) {
				readers[i] = DirectoryReader.open(IndexUtil.getIndexWriter(files[i].getPath(), true), true);
			}
		}
	
		multiReader = new MultiReader(readers);
		IndexSearcher searcher = new IndexSearcher(multiReader,service);
		if(service != null){
			service.shutdown();
		}
		return searcher;
	}
	
	/**從指定配置項中查詢
	 * @return
	 * @param analyzer 分詞器
	 * @param field 欄位
	 * @param fieldType	欄位型別
	 * @param queryStr 查詢條件
	 * @param range 是否區間查詢
	 * @return
	 */
	public static Query getQuery(String field,String fieldType,String queryStr,boolean range){
		Query q = null;
		if(queryStr != null && !"".equals(queryStr)){
			if(range){
				String[] strs = queryStr.split("\\|");
				if("int".equals(fieldType)){
					int min = new Integer(strs[0]);
					int max = new Integer(strs[1]);
					q = NumericRangeQuery.newIntRange(field, min, max, true, true);
				}else if("double".equals(fieldType)){
					Double min = new Double(strs[0]);
					Double max = new Double(strs[1]);
					q = NumericRangeQuery.newDoubleRange(field, min, max, true, true);
				}else if("float".equals(fieldType)){
					Float min = new Float(strs[0]);
					Float max = new Float(strs[1]);
					q = NumericRangeQuery.newFloatRange(field, min, max, true, true);
				}else if("long".equals(fieldType)){
					Long min = new Long(strs[0]);
					Long max = new Long(strs[1]);
					q = NumericRangeQuery.newLongRange(field, min, max, true, true);
				}
			}else{
				if("int".equals(fieldType)){
					q = NumericRangeQuery.newIntRange(field, new Integer(queryStr), new Integer(queryStr), true, true);
				}else if("double".equals(fieldType)){
					q = NumericRangeQuery.newDoubleRange(field, new Double(queryStr), new Double(queryStr), true, true);
				}else if("float".equals(fieldType)){
					q = NumericRangeQuery.newFloatRange(field, new Float(queryStr), new Float(queryStr), true, true);
				}else{
					Term term = new Term(field, queryStr);
					q = new TermQuery(term);
				}
			}
		}else{
			q= new MatchAllDocsQuery();
		}
		
		System.out.println(q);
		return q;
	}
	/**多條件查詢類似於sql in
	 * @param querys
	 * @return
	 */
	public static Query getMultiQueryLikeSqlIn(Query ... querys){
		BooleanQuery query = new BooleanQuery();
		for (Query subQuery : querys) {
			query.add(subQuery,Occur.SHOULD);
		}
		return query;
	}
	
	/**多條件查詢類似於sql and
	 * @param querys
	 * @return
	 */
	public static Query getMultiQueryLikeSqlAnd(Query ... querys){
		BooleanQuery query = new BooleanQuery();
		for (Query subQuery : querys) {
			query.add(subQuery,Occur.MUST);
		}
		return query;
	}
	/**對多個條件進行排序構建排序條件
	 * @param fields
	 * @param type
	 * @param reverses
	 * @return
	 */
	public static Sort getSortInfo(String[] fields,Type[] types,boolean[] reverses){
		SortField[] sortFields = null;
		int fieldLength = fields.length;
		int typeLength = types.length;
		int reverLength = reverses.length;
		if(!(fieldLength == typeLength) || !(fieldLength == reverLength)){
			return null;
		}else{
			sortFields = new SortField[fields.length];
			for (int i = 0; i < fields.length; i++) {
				sortFields[i] = new SortField(fields[i], types[i], reverses[i]);
			}
		}
		return new Sort(sortFields);
	}
	/**根據查詢器、查詢條件、每頁數、排序條件進行查詢
	 * @param query 查詢條件
	 * @param first 起始值
	 * @param max 最大值
	 * @param sort 排序條件
	 * @return
	 */
	public static TopDocs getScoreDocsByPerPageAndSortField(IndexSearcher searcher,Query query, int first,int max, Sort sort){
		try {
			if(query == null){
				System.out.println(" Query is null return null ");
				return null;
			}
			TopFieldCollector collector = null;
			if(sort != null){
				collector = TopFieldCollector.create(sort, first+max, false, false, false);
			}else{
				sort = new Sort(new SortField[]{new SortField("modified", SortField.Type.LONG)});
				collector = TopFieldCollector.create(sort, first+max, false, false, false);
			}
			searcher.search(query, collector);
			return collector.topDocs(first, max);
		} catch (IOException e) {
			// TODO Auto-generated catch block
		}
		return null;
	}
	
	/**獲取上次索引的id,增量更新使用
	 * @return
	 */
	public static Integer getLastIndexBeanID(IndexReader multiReader){
		Query query = new MatchAllDocsQuery();
		IndexSearcher searcher = null;
		searcher = new IndexSearcher(multiReader);
		SortField sortField = new SortField("id", SortField.Type.INT,true);
		Sort sort = new Sort(new SortField[]{sortField});
		TopDocs docs = getScoreDocsByPerPageAndSortField(searcher,query, 0, 1, sort);
		ScoreDoc[] scoreDocs = docs.scoreDocs;
		int total = scoreDocs.length;
		if(total > 0){
			ScoreDoc scoreDoc = scoreDocs[0];
			Document doc = null;
			try {
				doc = searcher.doc(scoreDoc.doc);
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
			return new Integer(doc.get("id"));
		}
		return 0;
	}
}
以上即是lucene搜尋之IndexSearcher構建過程相關內容；

相關程式碼下載

一步一步跟我學習lucene是對近期做lucene索引的總結，大家有問題的話聯絡本人的Q-Q:  891922381，同時本人新建Q-Q群：106570134（lucene,solr,netty,hadoop），如蒙加入，不勝感激，大家共同探討,本人爭取每日一博，希望大家持續關注，會帶給大家驚喜的

相關推薦

一步一步跟我學習lucene（7）---lucene搜尋之IndexSearcher構建過程

最近一直在寫一步一步跟我學習lucene系列（http://blog.csdn.net/wuyinggui10000/article/category/3173543），個人的部落格也收到了很多的訪問量，謝謝大家的關注，這也是對我個人的一個激勵，O(∩_∩)O哈哈~，個人感

struts2學習筆記（7）---資料驗證之validateXxx()方法

validateXxx()方法 上一篇文章寫了使用Action的validate()方法，validate()只能對action的所有方法進行驗證，而要實現對action中特定的方法進行驗證，就需要使用validateXxx()方法。validateXxx()

一步一步跟我學習lucene（6）---lucene索引優化之多執行緒建立索引

這兩天工作有點忙，部落格更新不及時，請大家見諒； 前面瞭解到lucene在索引建立的時候一個IndexWriter獲取到一個讀寫鎖，這樣勢在lucene建立大資料量的索引的時候，執行效率低下的問題； 磁碟空間大小，這個直接影響索引的建立，甚至會造成索引寫入提示完成，但是沒

一步一步跟我學習lucene（11）---lucene搜尋之高亮顯示highlighter

highlighter介紹 這幾天一直加班，部落格有三天沒有更新了，望見諒；我們在做查詢的時候，希望對我們自己的搜尋結果與搜尋內容相近的地方進行著重顯示，就如下面的效果 這裡我們搜尋的內容是“一步一步跟我學習lucene”，搜尋引擎展示的結果中對使用者的輸入資訊進行了配色方

Java Web學習總結（7）JSP（一）

sco runt util 註意細節 服務 private tin 多行 cnblogs 一，JSP基礎語法 1，JSP模板元素 JSP頁面中的HTML內容稱之為JSP模版元素。 JSP模版元素定義了網頁的基本骨架，即定義了頁面的結構和外觀。 2，JSP腳本

阿里雲伺服器一鍵WEB環境配置---Linux學習筆記（3）

我們可以看到正在執行狀態的服務及埠：9000埠是php程序服務，3306埠是mysql服務，80埠是nginx服務，21埠是ftp服務。 如果看到以上資訊，則說明安裝沒有異常。這裡有一點需要注意的是，如果您選擇安裝的是apache，則沒有上面的9000埠。為什麼選擇安裝的是apache，就沒有9000

七步從AngularJS菜鳥到專家（7）：Routing

們的 cat idt pan post 好的 書簽 廣播電臺 快速 這是＂AngularJS – 七步從菜鳥到專家＂系列的第七篇。在第一篇，我們展示了如何開始搭建一個AngularaJS應用。在第四、五篇我們討論了Angular內建的directives。上一篇了解了se

Lucene深入學習（7）Lucene的索引過程

摘要： 索引是Lucene最重要的過程，通過IndexWriter的addDocument()方法可以加入各種Document。本節將以addDocument為入口，探索Lucene的索引過程。本次程式碼示例基於Lucene 6.2.1. 索引呼叫方法

積跬步至千里——演算法強化訓練（7）大數問題

大數問題：當感覺用long或int已經不能滿足要求，需要考慮大數問題。大數問題將普通的數學運算，轉移到字串上的操作。大數操作有很多寫法，但是我習慣用以下這個模板，因為對加法 乘法 減法都是一個路子，便於記憶和理解。 大數乘法： string Multi(string st

lucene學習筆記（七）lucene近實時搜尋

近實時搜尋 Lucene3.5起提供了NRTManager管理近實時搜尋。原理：將搜尋存放到記憶體中，每個一定時間提交到硬碟中。 NRTManager和SearchManager是執行緒安全的 使用NRTManager獲取SearchManager。並且使

跟我學Redis（17）—Redis事務詳解及例項

前面有篇文章，簡單介紹了Redis事務。 Redis事務主要命令包括 MULTI、EXEC、WATCH 命令。本篇文章將詳細介紹事務以及Redis事務例項應用！ 一、事務、悲觀鎖、樂觀鎖概述 簡單的

跟我學彙編（三）暫存器和實體地址的形成

一、通用暫存器 對於一個彙編程式設計師來說，CPU中主要部件是暫存器。暫存器是CPU中程式設計師可以用指令讀寫的部件。程式設計師通過改變各種暫存器的內容來實現對CPU的控制。 不同的CPU，暫存器的個數、結構是不同的。8086CPU 有14個暫存器，每個暫存

跟我學JAVA（5）圖形化介面設計——佈局管理器之FlowLayout（流式佈局）

一、佈局管理器所屬類包 所屬類包 佈局管理器名稱 說明 Java.awt FlowLayout（流式佈局） 元件按照加入的先後順序按照設定的對齊方式從左向右排列，一

跟我學程式設計（3）

        很多人做軟體開發非常執著於技術本身，希望通過更少的程式碼解決最多的需求，這個想法本身是沒有錯的，但是應該有一個前提，就是程式碼的可維護性比程式碼的簡潔性重要。        如下面一段程式碼：            void   swap(int *x, i

跟我學程式設計（5）

    編寫軟體，一個工具總是包含幾個部分：    1）編寫原始碼的編輯器，是用來寫字的，就如一張紙，其目的是讓程式編寫者更加容易書寫程式，一般具有高亮度顯示關鍵字功能。我們也可以直接用任何不帶格式的文字編輯器書寫程式碼，用office-word一樣可以書寫程式，只是儲存時

樹莓派3學習筆記（7）：7寸（分辨率800 480）顯示器配置

樹莓派、顯示器配置樹莓派3學習筆記（7）：7寸（分辨率800 480）顯示器配置 樹莓派搭載分辨率為800X480的顯示器在顯示的時候可能會遇到無法全屏顯示的問題， 顯示器只有部分能夠顯示，有一部分是黑邊，對於這一種情況，我們只需進入系統的boot目錄，找到config.txt文件，或者直接在命

C#學習筆記（7）——委托

() namespace test task cnblogs [] string 命名空間 program 說明（2017-5-29 22:22:50）： 1. 語法：public delegate void mydel();這一句在類外面，命名空間裏面。 2. 專門新建一

Linux學習筆記（7）

7一、PATH環境變量PATH 環境變量用which可以查看到一個命令的所在路徑，包括它的alias，實際是從當前環境的目錄下去找的。echo $PATH 查看當前命令 rm = /usr/bin/rm舉例：cp /usr/bin/ls /tmp/bin/ls2如果想直接使用ls2，有以下兩種方法：（

Linux第二周學習筆記（7）

詳解 顯示 one per mes ctr 方向鍵 post sage Linux第二周學習筆記（7）2.13 文檔查看cat_more_less_head_tail（1）. cat命令cat命令：用於查看一個文件的內容並將其顯示在屏幕上cat-A命令：顯示所有的內容，包括

STM32學習筆記（7）——USART串口的使用

工作 清除 ESS 界面 默認 支持 oat channels 函數 1、 串口的基本概念 在STM32的參考手冊中，串口被描述成通用同步異步收發器(USART)，它提供了一種靈活的方法與使用工業標準NRZ異步串行數據格式的外部設備之間進行全雙工數據交換。U