2. 程式人生 > >Lucene 全文檢索入門

Lucene 全文檢索入門

阿新 • • 發佈：2018-06-18
sdi 執行 option getter itl .get png 廣泛 fig

博客地址：http://www.moonxy.com

一、前言

Lucene 是 apache 軟件基金會的一個子項目，由 Doug Cutting 開發，是一個開放源代碼的全文檢索引擎工具包，但它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的庫，提供了完整的查詢引擎和索引引擎，部分文本分析引擎（英文與德文兩種西方語言）。Lucene 的目的是為軟件開發人員提供一個簡單易用的工具包，以方便的在目標系統中實現全文檢索的功能，或者是以此為基礎建立起完整的全文檢索引擎。Lucene 是一套用於全文檢索和搜尋的開源程式庫，由 Apache 軟件基金會支持和提供。

Lucene 提供了一個簡單卻強大的應用程式接口，能夠做全文索引和搜尋。在 Java 開發環境裏 Lucene 是一個成熟的免費開源工具。就其本身而言，Lucene 是當前以及最近幾年最受歡迎的免費 Java 信息檢索程序庫。人們經常提到信息檢索程序庫，雖然與搜索引擎有關，但不應該將信息檢索程序庫與搜索引擎相混淆。

最開始 Lucene 只由 java 開發，供 java 程序調用，隨著 python 越來越火，Lucene 官網也提供了 python 版本的 lucene 庫，供 python 程序調用，即 PyLucene。

技術分享圖片

二、下載 Lucene

2.1 下載

訪問 Lucene 官網 http://lucene.apache.org/，可以看到 綠色和紅色兩個下載按鈕，分別提供 Lucene 和 Solr 的下載。

技術分享圖片

這裏簡要說明一下 Lucene 和 Solr，Lucene 是一個做全文檢索的庫，開發者可以按照自己的實際業務需求來使用，而 Solr 是一個基於 Lucene 的全文檢索服務器。Solr 是在 Lucene 的基礎上進行擴展，並且提供了更加豐富的查詢語句，可擴展性和可配置性比 Lucene 更高。除此之外 Solr 還提供了一個完善的管理頁面，是一個產品級的全文搜索引擎。

官網首頁提供了最新版本的下載鏈接，如果需要下載使用歷史版本，可以訪問 http://archive.apache.org/dist/lucene/java/，可以下載 Lucene 所有的發行版本。此處下載 6.6.0 版本。

技術分享圖片

2.2 添加依賴

將下載的 Lucene 包解壓之後，找到如下的 jar 包，新建自己的工程，此處不使用 Maven，所以手動添加 jar 包到工程的 lib 目錄下，如下：

技術分享圖片

IKAnalyzer2012_u6.jar，此 jar 包在 IK 分詞器項目中，是單獨的一個工具包，需要額外在網上下載：IKAnalyzer2012_u6。IK 分詞器采用了特有的 "正向叠代最細粒度切分算法"，即從左到右的 正向最大（最長）和最小（最短）匹配，支持細粒度和智能分詞兩種切分模式，可將分詞器擴展配置文件 IKAnalyzer.cfg.xml 放在項目的 class 根目錄，並在其中配置擴展詞典路徑。

當 IKAnalyzer6x()構造方法參數為空或者false時，是最細粒度分詞，為true 時是智能分詞。

lucene-analyzers-common-6.6.0.jar：lucene-6.6.0/common/

lucene-analyzers-smartcn-6.6.0.jar：lucene-6.6.0/smartcn/

lucene-core-6.6.0.jar：lucene-6.6.0/core/

lucene-highlighter-6.6.0.jar：lucene-6.6.0/highlighter/

lucene-memory-6.6.0.jar：lucene-6.6.0/memory/

lucene-queries-6.6.0.jar：lucene-6.6.0/queries/

lucene-queryparser-6.6.0.jar：lucene-6.6.0/queryparser/

2.3 Lucene 架構

首先是信息采集的過程，文件系統、數據庫、萬維網以及手工輸入的文件都可以作為信息采集的對象，也是要搜索的文檔的來源，采集萬維網上的信息一般使用網絡爬蟲。完成信息采集之後到 Lucene 層面主要有兩個任務：索引文檔和搜索文檔。

索引文檔的過程完成由原始文檔到倒排索引的構建過程；

搜索文檔用以處理用戶查詢。然後當用戶輸入查詢關鍵詞，Lucene 完成文檔搜索任務，經過分詞、匹配、評分、排序等一系列過程之後返回用戶想要的文檔。

倒排索引（Inverted index），也常被稱為反向索引，是一種索引方法，被用來存儲在全文搜索下某個單詞在一個文檔或者一組文檔中的存儲位置的映射，它是文檔檢索系統中最常用的數據結構，包括詞項所在的文章號、詞項頻率、詞項位置等。

三、Lucene 索引詳解

3.1 創建實體模型

創建新聞實體類模型

package tup.lucene.index;

/**
 * 新聞實體類
 * @author moonxy
 *
 */
public class News {
    private int id;//新聞id
    private String title;//新聞標題
    private String content;//新聞內容
    private int reply;//評論數
    
    public News() {
        
    }
    
    public News(int id, String title, String content, int reply) {
        super();
        this.id = id;
        this.title = title;
        this.content = content;
        this.reply = reply;
    }
    
    // 省略 setter 和 getter 方法
    
}

3.2 創建索引

Lucene 索引文檔需要依靠 IndexWriter 對象，創建 IndexWriter 需要兩個參數：一個是 IndexWriterConfig 對象，該對象可以設置創建索引使用哪種分詞器，另一個是索引的保存路徑。IndexWriter 對象的 addDocument() 方法用於添加文檔，該方法的參數為 Document 對象，IndexWriter 對象一次可以添加多個文檔，最後調用 commit() 方法生成索引。

package tup.lucene.index;

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.FieldType;
import org.apache.lucene.document.IntPoint;
import org.apache.lucene.document.StoredField;
import org.apache.lucene.index.IndexOptions;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.IndexWriterConfig.OpenMode;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

import tup.lucene.ik.IKAnalyzer6x;

/**
 * Lucene 創建索引
 * @author moonxy
 *
 */
public class CreateIndex {

    public static void main(String[] args) {

        // 創建3個News對象
        News news1 = new News();
        news1.setId(1);
        news1.setTitle("安倍晉三本周會晤特朗普 將強調日本對美國益處");
        news1.setContent("日本首相安倍晉三計劃2月10日在華盛頓與美國總統特朗普舉行會晤時提出加大日本在美國投資的設想");
        news1.setReply(672);
        
        News news2 = new News();
        news2.setId(2);
        news2.setTitle("北大迎4380名新生 農村學生700多人近年最多");
        news2.setContent("昨天，北京大學迎來4380名來自全國各地及數十個國家的本科新生。其中，農村學生共700余名，為近年最多...");
        news2.setReply(995);

        News news3 = new News();
        news3.setId(3);
        news3.setTitle("特朗普宣誓(Donald Trump)就任美國第45任總統");
        news3.setContent("當地時間1月20日，唐納德·特朗普在美國國會宣誓就職，正式成為美國第45任總統。");
        news3.setReply(1872);
        
        // 開始時間
        Date start = new Date();
        System.out.println("**********開始創建索引**********");
        // 創建IK分詞器
        Analyzer analyzer = new IKAnalyzer6x();//使用IK最細粒度分詞
        IndexWriterConfig icw = new IndexWriterConfig(analyzer);
　　　　　// CREATE 表示先清空索引再重新創建
        icw.setOpenMode(OpenMode.CREATE);
        Directory dir = null;
        IndexWriter inWriter = null;
        // 存儲索引的目錄
        Path indexPath = Paths.get("indexdir");

        try {
            if (!Files.isReadable(indexPath)) {
                System.out.println("索引目錄 ‘" + indexPath.toAbsolutePath() + "‘ 不存在或者不可讀,請檢查");
                System.exit(1);
            }
            dir = FSDirectory.open(indexPath);
            inWriter = new IndexWriter(dir, icw);
            
            // 設置新聞ID索引並存儲
            FieldType idType = new FieldType();
            idType.setIndexOptions(IndexOptions.DOCS);
            idType.setStored(true);
            
            // 設置新聞標題索引文檔、詞項頻率、位移信息和偏移量，存儲並詞條化
            FieldType titleType = new FieldType();
            titleType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS);
            titleType.setStored(true);
            titleType.setTokenized(true);

            FieldType contentType = new FieldType();
            contentType.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS);
            contentType.setStored(true);
            contentType.setTokenized(true);
            contentType.setStoreTermVectors(true);
            contentType.setStoreTermVectorPositions(true);
            contentType.setStoreTermVectorOffsets(true);

            Document doc1 = new Document();
            doc1.add(new Field("id", String.valueOf(news1.getId()), idType));
            doc1.add(new Field("title", news1.getTitle(), titleType));
            doc1.add(new Field("content", news1.getContent(), contentType));
            doc1.add(new IntPoint("reply", news1.getReply()));
            doc1.add(new StoredField("reply_display", news1.getReply()));
            
            Document doc2 = new Document();
            doc2.add(new Field("id", String.valueOf(news2.getId()), idType));
            doc2.add(new Field("title", news2.getTitle(), titleType));
            doc2.add(new Field("content", news2.getContent(), contentType));
            doc2.add(new IntPoint("reply", news2.getReply()));
            doc2.add(new StoredField("reply_display", news2.getReply()));

            Document doc3 = new Document();
            doc3.add(new Field("id", String.valueOf(news3.getId()), idType));
            doc3.add(new Field("title", news3.getTitle(), titleType));
            doc3.add(new Field("content", news3.getContent(), contentType));
            doc3.add(new IntPoint("reply", news3.getReply()));
            doc3.add(new StoredField("reply_display", news3.getReply()));

            inWriter.addDocument(doc1);
            inWriter.addDocument(doc2);
            inWriter.addDocument(doc3);

            inWriter.commit();

            inWriter.close();
            dir.close();

        } catch (IOException e) {
            e.printStackTrace();
        }
        Date end = new Date();
        System.out.println("索引文檔用時:" + (end.getTime() - start.getTime()) + " milliseconds");
        System.out.println("**********索引創建完成**********");
    }
}

執行之後，在控制臺輸出如下：

**********開始創建索引**********
加載擴展詞典：dict/ext.dic
加載擴展停止詞典：dict/stopword.dic
加載擴展停止詞典：dict/ext_stopword.dic
索引文檔用時:1064 milliseconds
**********索引創建完成**********

並且在項目中生成如下索引文件：

技術分享圖片

3.3 Luke 查看索引

索引創建完成以後生成了如上的一批特殊格式的文件，如果直接用工具打開，會顯示的都是亂碼。可以使用索引查看工具 Luke 來查看。

Luke 是開源工具，代碼托管在 GitHub 上，項目地址：https://github.com/DmitryKey/luke/releases，此處下載 luke 6.6.0，地址為 https://github.com/DmitryKey/luke/releases/download/luke-6.6.0/luke-6.6.0-luke-release.zip，如果在 Windows 中無法下載，可以在 Linux 中使用 wget 下載，命令為：wget https://github.com/DmitryKey/luke/releases/download/luke-6.6.0/luke-6.6.0-luke-release.zip。

下載後解壓，進入 luke 目錄，如果是在 Linux 平臺，運行 luke.bat 即可啟動軟件，並在 Path 中輸入 index 存儲的目錄，即可打開索引文件，顯示出索引的具體內容。

技術分享圖片

註意：對於不同版本的 Lucene，需要選擇對應版本的 Luke，否則可能會出現不能正常解析的錯誤。

3.4 Lucene 查詢詳解

在 Lucene 中，處理用戶輸入的查詢關鍵詞其實就是構建 Query 對象的過程。Lucene 搜索文檔需要先讀入索引文件，實例化一個 IndexReader 對象，然後實例化出 IndexSearch 對象，IndexSearch 對象的 search() 方法完成搜索過程，Query 對象作為 search() 方法的對象。搜索結果保存在一個 TopDocs 類型的文檔集合中，遍歷 TopDocs 集合輸出文檔信息。

package tup.lucene.queries;

import java.io.IOException;
import java.nio.file.Path;
import java.nio.file.Paths;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.MultiFieldQueryParser;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.queryparser.classic.QueryParser.Operator;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

import tup.lucene.ik.IKAnalyzer6x;

/**
 * 單域搜索
 * @author moonxy
 *
 */
public class QueryParseTest {

    public static void main(String[] args) throws ParseException, IOException {
        // 搜索單個字段
        String field = "title";
        // 搜索多個字段時使用數組
        //String[] fields = { "title", "content" };
        
        Path indexPath = Paths.get("indexdir");
        Directory dir = FSDirectory.open(indexPath);
        IndexReader reader = DirectoryReader.open(dir);
        IndexSearcher searcher = new IndexSearcher(reader);
        Analyzer analyzer = new IKAnalyzer6x(false);//最細粒度分詞
        QueryParser parser = new QueryParser(field, analyzer);
        
        // 多域搜索
        //MultiFieldQueryParser multiParser = new MultiFieldQueryParser(fields, analyzer);
        
        // 關鍵字同時成立使用 AND, 默認是 OR
        parser.setDefaultOperator(Operator.AND);
        // 查詢語句
        Query query = parser.parse("農村學生");//查詢關鍵詞
        System.out.println("Query:" + query.toString());
        
        // 返回前10條
        TopDocs tds = searcher.search(query, 10);
        for (ScoreDoc sd : tds.scoreDocs) {
            // Explanation explanation = searcher.explain(query, sd.doc);
            // System.out.println("explain:" + explanation + "\n");
            Document doc = searcher.doc(sd.doc);
            System.out.println("DocID:" + sd.doc);
            System.out.println("id:" + doc.get("id"));
            System.out.println("title:" + doc.get("title"));
            System.out.println("content:" + doc.get("content"));
            System.out.println("文檔評分:" + sd.score);
        }
        dir.close();
        reader.close();
    }
}

控制臺輸出如下：

加載擴展詞典：dict/ext.dic
加載擴展停止詞典：dict/stopword.dic
加載擴展停止詞典：dict/ext_stopword.dic
Query:+title:農村 +title:村學 +title:學生
DocID:1
id:2
title:北大迎4380名新生 農村學生700多人近年最多
content:昨天，北京大學迎來4380名來自全國各地及數十個國家的本科新生。其中，農村學生共700余名，為近年最多...
文檔評分:2.320528

註意，在結果中打印了 DocID 和 id，前者是文檔的 ID，是 Lucene 為索引的每個文檔標記，後者是文檔自定義的 id 字段。

3.5 Lucene 查詢高亮

高亮功能一直都是全文檢索的一項非常優秀的模塊，在一個標準的搜索引擎中，高亮的返回命中結果，幾乎是必不可少的一項需求，因為通過高亮，可以在搜索界面上快速標記出用戶的搜索關鍵字，從而減少了用戶自己尋找想要的結果的時間，在一定程度上大大提高了用戶的體驗性和友好度。

Highlight 包含3個主要部分：

1）段劃分器：Fragmenter

2）計分器：Score

3）格式化器：Formatter

package tup.lucene.highlfighter;

import java.io.IOException;
import java.nio.file.Path;
import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.highlight.Fragmenter;
import org.apache.lucene.search.highlight.Highlighter;
import org.apache.lucene.search.highlight.InvalidTokenOffsetsException;
import org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.search.highlight.TokenSources;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

import tup.lucene.ik.IKAnalyzer6x;

/**
 * Lucene查詢高亮
 * @author moonxy
 *
 */
public class HighlighterTest {
    public static void main(String[] args) throws IOException, InvalidTokenOffsetsException, ParseException {
        String field = "title";
        Path indexPath = Paths.get("indexdir");
        Directory dir = FSDirectory.open(indexPath);
        IndexReader reader = DirectoryReader.open(dir);
        IndexSearcher searcher = new IndexSearcher(reader);
        Analyzer analyzer = new IKAnalyzer6x();
        QueryParser parser = new QueryParser(field, analyzer);
        Query query = parser.parse("北大學生");
        System.out.println("Query:" + query);

        // 查詢高亮
        QueryScorer score = new QueryScorer(query, field);
        SimpleHTMLFormatter fors = new SimpleHTMLFormatter("<span style=\"color:red;\">", "</span>");// 定制高亮標簽
        Highlighter highlighter = new Highlighter(fors, score);// 高亮分析器

        // 返回前10條
        TopDocs tds = searcher.search(query, 10);
        for (ScoreDoc sd : tds.scoreDocs) {
            // Explanation explanation = searcher.explain(query, sd.doc);
            // System.out.println("explain:" + explanation + "\n");
            Document doc = searcher.doc(sd.doc);
            System.out.println("id:" + doc.get("id"));
            System.out.println("title:" + doc.get("title"));
            Fragmenter fragment = new SimpleSpanFragmenter(score);
            highlighter.setTextFragmenter(fragment);
//            TokenStream tokenStream = TokenSources.getAnyTokenStream(searcher.getIndexReader(), sd.doc, field, analyzer);// 獲取tokenstream
//            String str = highlighter.getBestFragment(tokenStream, doc.get(field));// 獲取高亮的片段
            
            String str = highlighter.getBestFragment(analyzer, field, doc.get(field));// 獲取高亮的片段
            System.out.println("高亮的片段:" + str);
        }
        dir.close();
        reader.close();
    }
}

控制臺輸出如下：

加載擴展詞典：dict/ext.dic
加載擴展停止詞典：dict/stopword.dic
加載擴展停止詞典：dict/ext_stopword.dic
Query:title:北大學生 title:北大 title:大學生 title:大學 title:學生
id:2
title:北大迎4380名新生 農村學生700多人近年最多
高亮的片段:<span style="color:red;">北大</span>迎4380名新生 農村<span style="color:red;">學生</span>700多人近年最多

四、Tika 文件內容提取

Apache Tika 是一個用於文件類型檢測和文件內容提取的庫，是 Apache 軟件基金會的項目。Tika 可以檢測操作 1000 種不同類型的文檔，比如 PPT、PDF、DOC、XLS 等，所有的文本類型都可以通過一個簡單的接口被解析，Tika 廣泛應用於搜索引擎、內容分析、文本翻譯等領域。

Tika 下載的官網地址：http://tika.apache.org/download.html，其歷史版本下載地址為：http://archive.apache.org/dist/tika/，此處現在當前最新版 tika-app-1.18.jar

技術分享圖片

下載下來之後為一個 jar 包，但 Tika 可作為 GUI 工具使用，在 CMD 中先進入下載目錄，然後使用如下命令啟動 Tika GUI：

java -jar tika-app-1.18.jar -g

java -jar 表示啟動 jar 包，後面跟 jar 包的名字，-g（--gui） 參數表示以 GUI 的方式啟動 Tika（Start the Apache Tika GUI），當然前提是已經配置好了 java 環境變量。

界面如下：

技術分享圖片

可以點擊 File 菜單中的 Open...來打開一個本地文件或者輸入 URL 來打開遠程文件，也可直接將本地文件拖入到 Tika，Tika 將會自動識別文件類型並顯示文件信息。

默認顯示文件的元數據信息，如下：

技術分享圖片

點擊 View 菜單，裏面可以選擇查看文件的具體內容，如選擇其中的 Plain Text，顯示如下：

技術分享圖片

將該 jar 包放入項目 lib 中，調用相應的接口就可以提取不同文件的內容。

Lucene 全文檢索入門

相關推薦

Lucene 全文檢索入門

sdi 執行 option getter itl .get png 廣泛 fig 博客地址：http://www.moonxy.com 一、前言 Lucene 是 apache 軟件基金會的一個子項目，由 Doug Cutting 開發，是一個開放源代碼的全文檢索引擎工具包

Lucene全文檢索入門使用

一、 什麼是全文檢索 全文檢索是計算機程式通過掃描文章中的每一個詞，對每一個詞建立一個索引，指明該詞在文章中出現的次數和位置。當用戶查詢時根據建立的索引查詢，類似於通過字典的檢索字表查字的過程 全文檢索（Full-Text Retrieval）以文字作為檢索物件，找出含有指定詞彙的文字。全面、準確和快速是

【Lucene】Apache Lucene全文檢索引擎架構之入門實戰

　　Lucene是一套用於全文檢索和搜尋的開源程式庫，由Apache軟體基金會支援和提供。Lucene提供了一個簡單卻強大的應用程式介面，能夠做全文索引和搜尋。在Java開發環境裡Lucene是一個成熟的免費開源工具。就其本身而言，Lucene是當前以

Lucene全文檢索引擎

getname 通過 nal dem 檢索 數據庫 project cep 關閉 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch

Lucene全文檢索之倒排索引實現原理、API解析【2018.11】

》 官網 http://lucene.apache.org/ 下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/java/7.5.0/ 》 Lucene的全文檢索是指什麼： 程式掃描文件

springboot整合elasticsearch全文檢索入門

只是簡單的整合介紹 # 安裝 # 依賴 springBootVersion = '2.0.5.RELEASE' compile group: 'org.springframework.boot', name: 'spring-boot-starter-da

Lucene全文檢索框架

Lucene全文檢索框架 1、什麼時Lucene？ 是一個全文搜尋框架，而不是應用產品，他只是一種工具讓你能實現某些產品，並不像www.baidu.com拿來就能用 是apache組織的一個用java實現的全文搜尋引擎的開源專案 2、Luncen的工作方式？ 提供的服務實際包含兩部分：一入一

Lucene全文檢索學習

花了一段時間學習lucene今天有時間把所學的寫下來，網上有很多文章但大部分都是2.X和3.X版本的（當前最新版本4.9）,希望這篇文章對自己和初學者有所幫助。    學習目錄 （1）什麼是lucene （2）lucene常用類詳解 （3）lucene簡單例項 （4）luce

Lucene全文檢索隨筆

一，什麼是全文檢索 全文檢索是計算機程式通過掃描文章中的每一個詞，對每一個詞建立一個索引，指明該詞在文章中出現的次數和位置。當用戶查詢時根據建立的索引查詢，類似於通過字典的檢索字表查字的過程。 全文檢索（Full-Text Retrieval）以文字作為檢索物件，找出含有指定詞彙的文字。全面、準確和快速是

solr全文檢索入門

文章目錄 安裝 啟動 建立core 配置core索引MySQL資料 3.2.1 3.2.2 3.2.3 測試定時更新 五、配置中文分詞 SolrJ 操作索引的增

Lucene&全文檢索

目錄結構: 1.全文檢索 2.Lucene入門 3.Lucene進階 全文檢索 一, 生活中的搜尋: 1.Windows系統中的有搜尋功能：開啟“我的電腦”，按“F3”就可以使用查詢的功能，查詢指定的檔案或資料夾。搜尋的範圍是整個電腦中的檔案資源。 2.Eclips

Lucene全文檢索--實戰篇

一、配置開發環境 版本：lucene4.10.3 Jdk要求：1.7以上 IDE：Eclipse jar包：  Lucene包：    lucene-core-4.10.3.jar    lucene-analyzers-

Lucene全文檢索--理論篇

【案例】 實現一個檔案的搜尋功能，通過關鍵字搜尋檔案，凡是檔名或檔案內容包括關鍵字的檔案都需要找出來。還可以根據中文詞語進行查詢，並且需要支援多個條件查詢。 本案例中的原始內容就是磁碟上的檔案，如下圖：   1. 全文檢索(Full-text Search) &n

Apache Lucene 全文檢索詳解及開發示例

講解之前，先來分享一些資料 　　首先呢，學習任何一門新的亦或是舊的開源技術，百度其中一二是最簡單的辦法，先了解其中的大概，思想等等。這裡就貢獻一個講解很到位的ppt。已經被我轉成了PDF，便於蒐藏。 　　其次，關於第一次程式設計初探，建議還是檢視官方資料。百度到的資料

SSM(二)Lucene全文檢索

前言 大家平時肯定都有用過全文檢索工具，最常用的百度谷歌就是其中的典型。如果自己能夠做一個那是不是想想就逼格滿滿呢。Apache就為我們提供了這樣一個框架，以下就是在實際開發中加入Lucene的一個小Demo。 獲取Maven依賴 首先看一

Lucene全文檢索工具包學習筆記總結

Lucene—-全文檢索的工具包 隸屬於apache(solr也是屬於apache,solr底層的實現是Lucene) 一、資料的分類： 結構化資料 具有固定型別和長度的資料 比如：資料庫(mysql/oracl)中的資料,元資料(windows中的檔案) 非結構化資料

lucene全文檢索與資料庫檢索的區別

1.效能 資料庫：like檢索（會把表中資料進行一行一行的掃描，）效能慢 Lucene檢索：先把資料那過來建立檢索，然後在根據建立的索引進行查詢，這樣的話我們需要多維護一份索引表。多一個建立索引的過程

Lucene: 全文檢索的基本原理

一、總論 Lucene是一個高效的，基於Java的全文檢索庫。 所以在瞭解Lucene之前要費一番工夫瞭解一下全文檢索。 那麼什麼叫做全文檢索呢？這要從我們生活中的資料說起。 我們生活中的資料總體分為兩種：結構化資料和非結構化資料。 結構化資料：指具有固定格式或有限長度的資料，如資料庫，元資料等。非結構化

【Lucene】Apache Lucene全文檢索引擎架構之搜尋功能

　　上一節主要總結了一下Lucene是如何構建索引的，這一節簡單總結一下Lucene中的搜尋功能。主要分為幾個部分，對特定項的搜尋；查詢表示式QueryParser的使用；指定數字範圍內搜尋；指定字串開

java Lucene全文檢索優化方法

一. .索引優化背景 很多網站都有自己的搜尋引擎，比如百度，搜狗等等，而他們每天新增的索引量可想而知多麼龐大，所以為了能提升使用者的搜尋響應速度，好的優化方案必不可少；當然對於一些網站的站內搜尋也很有