2. 程式人生 > >Elasticsearch全文檢索

Elasticsearch全文檢索

阿新 • • 發佈：2019-01-25

簡介

  Elasticsearch是一個實時分散式搜尋和分析引擎，用於全文搜尋、結構化搜尋、分析以及將這三者混合使用。Elasticsearch實現全文索引，需要使用分詞器，預設使用的standard分詞器。由於本文介紹的是中文的全文檢索，因此我們需要使用第三方外掛的中文分詞器，如ik分詞器、mmsegf分詞器，在此我們主要使用的是ik分詞器。

安裝ik分詞器

1.首先，我們需要根據Elasticsearch的版本來選擇使用哪一個版本的ik分詞器，如下：

IK version ES version
master 2.2.0->master
1.8.0 2.2.0
1.7.0 2.1.1
1.6.1 2.1.0
1.5.0 2.0.0
1.4.1 1.7.2

由於我們的Elasticsearch的版本為1.7.3，因此我們使用ik-1.4.1。

wget https://github.com/medcl/elasticsearch-analysis-ik/archive/v1.4.1.tar.gz
tar -zxvf v1.4.1.tar.gz 
cd elasticsearch-analysis-ik-1.4.1
cp -rf /home/test/ELKstack/elasticsearch-analysis-ik-1.4
 
.1/config/ik /usr/local/elasticsearch-1.7.3/config
#需要安裝maven並配置環境變數
vim /etc/profile
export MAVEN_HOME=/usr/local/maven
export PATH=${PATH}:${MAVEN_HOME}/bin
export M2_REPO=/usr/local/maven/repository
#安裝
mvn package
#安裝完畢後，將其放到elasticsearch的外掛目錄下
unzip /home/test/ELKstack/elasticsearch-analysis-ik-1.4.1target/releases/elasticsearch-analysis-ik-1.4
 
.1.zip -d /usr/local/elasticsearch-1.7.3/plugins/ik

2.配置elasticsearch.yml

vim /usr/local/elasticsearch-1.7.3/config/elasticsearch.yml
index:
  analysis:
    analyzer:
      ik:
          alias: [ik_analyzer]
          type: org.elasticsearch.index.analysis.IkAnalyzerProvider
      ik_max_word:
          type: ik
          use_smart: false
      ik_smart:
          type: ik
          use_smart: true
或者
index.analysis.analyzer.ik.type : "ik"

以上兩種配置方式的區別：
(1)、第二種方式，只定義了一個名為 ik 的 analyzer，其 use_smart 採用預設值 false

(2)、第一種方式，定義了三個 analyzer，分別為：ik、ik_max_word、ik_smart，其中 ik_max_word 和 ik_smart 是基於 ik 這個 analyzer 定義的，並各自明確設定了 use_smart 的不同值。

(3)、其實，ik_max_word 等同於 ik。ik_max_word 會將文字做最細粒度的拆分，比如會將“中華人民共和國國歌”拆分為“中華人民共和國,中華人民,中華,華人,人民共和國,人民,人,民,共和國,共和,和,國國,國歌”，會窮盡各的組合；而 ik_smart 會做最粗粒度的拆分，比如會將“中華人民共和國國歌”拆分為“中華人民共和國,國歌”。

因此，建議，在設定 mapping 時，用 ik 這個 analyzer，以儘可能地被搜尋條件匹配到。

3.重啟elasticsearch

/etc/init.d/elasticsearch start

檢查日誌檢視ik外掛是否載入成功。

分詞測試

1.建立索引

curl -XPOST http://10.10.20.16:9200/index

2.建立mapping

curl -XPOST http://10.10.20.16:9200/index/test/_mapping?pretty -d '
{
  "test":{
           "properties":{
              "NewString":{"type":"string","indexAnalyzer":"ik","searchAnalyzer":"ik"},
              "OriginString":{"type":"string","indexAnalyzer":"ik","searchAnalyzer":"ik"},
              "townname":{"type":"string","indexAnalyzer":"ik","searchAnalyzer":"ik"},
              "distname":{"type":"string","indexAnalyzer":"ik","searchAnalyzer":"ik"},
              "haclcode":{"type":"string"},
              "towncode":{"type":"string"},
              "distcode":{"type":"string"},
              "WordClass":{"type":"string"},
              "WordCode":{"type":"string"},
              "x":{"type":"float"},
              "y":{"type":"float"}
          }
    }
}'

若在後期新增新欄位，需要更新mapping

curl -XPUT http://10.10.20.16:9200/index/_mapping/test -d '
 {
    "properties":{
        "OriginString":{
           "type":"string",
           "indexAnalyzer":"ik",
           "searchAnalyzer":"ik"
          }
      }
 }'

3.匯入資料
匯入資料使用bulk api，處理海量資料時會極大的提高效率。
bulk api的請求格式為：

{ action: { metadata }}\n
{ request body        }\n
{ action: { metadata }}\n
{ request body        }\n

這種格式就類似於一個用”\n”字元來連線的單行json一樣。
因此使用bulk api需要將我們的原始資料格式化為上面的json格式。
例如：
我們的原始資料為：

CL029103CHY4064 城陽職教中心    ha      指教中心        CHY     城陽區  null    null    120.38120840204475      36.30916300197122       ed
CL029103CHY4064 城陽職教中心    ha      明陽路職教      CHY     城陽區  null    null    120.38120840204475      36.30916300197122       ed
CL029103CHY4064 城陽職教中心    ha      職教中心        CHY     城陽區  null    null    120.38120840204475      36.30916300197122       ed

通過python進行格式化：

vim format.py 

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import json
names = ['WordCode', 'NewString', 'WordClass', 'OriginString', 'distcode', 'distname', 'towncode', 'townname', 'x', 'y', 'haclcode']

with open('/home/test/text', 'r') as f:
        data = f.readlines()

s = '{"index":{"_index":"index","_type":"test"}}'

for line in data:
        values = line.strip().split()
        dictionary = dict(zip(names, values))
        #格式化為json
        #解決list,dict亂碼
        json_data = json.dumps(dictionary).decode("unicode-escape")
        with open('/home/test/out', 'a') as f1:
                print >> f1, s
        with open('/home/test/out', 'a') as f2:
                print >> f2, json_data.encode("utf-8")

格式化後的out檔案為：

{"haclcode": "ed", "townname": "null", "distname": "城陽區", "towncode": "null", "distcode": "CHY", "WordClass": "ha", "OriginString": "指教中心", "y": "36.30916300197122", "x": "120.38120840204475", "WordCode": "CL029103CHY4064", "NewString": "城陽職教中心"}
{"index":{"_index":"test","_type":"supersearch"}}
{"haclcode": "ed", "townname": "null", "distname": "城陽區", "towncode": "null", "distcode": "CHY", "WordClass": "ha", "OriginString": "明陽路職教", "y": "36.30916300197122", "x": "120.38120840204475", "WordCode": "CL029103CHY4064", "NewString": "城陽職教中心"}
{"index":{"_index":"test","_type":"supersearch"}}
{"haclcode": "ed", "townname": "null", "distname": "城陽區", "towncode": "null", "distcode": "CHY", "WordClass": "ha", "OriginString": "職教中心", "y": "36.30916300197122", "x": "120.38120840204475", "WordCode": "CL029103CHY4064", "NewString": "城陽職教中心"}

匯入資料

curl http://10.10.20.16:9200/index/_bulk?pretty --data-binary @out

注意：out檔案的json格式，每行後面必須跟\n
4.檢索資料

全欄位查詢

curl -XPOST  http://10.10.20.16:9200/index/test/_search?pretty  -d'
{
    "query" : { "match" : { "_all" : "職教" }}
}'

_all欄位在新欄位探索階段比較管用，當你還不清楚文件的最終結構時，可以將任何查詢用於這個欄位。

精確查詢

curl -XPOST http://10.10.20.16:9200/index/test/_search?pretty  -d'
{
    "query" : { "term" : { "OriginString" : "職教" }}
}'
{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 0,
    "max_score" : null,
    "hits" : [ ]
  }
}

由於是精確匹配，不會進行分詞，因此沒有匹配項。

模糊查詢

curl -XPOST  http://10.10.20.16:9200/index/test/_search?pretty  -d'
{
    "query" : { "match" : { "OriginString" : "職教" }}
}'
{
  "took" : 16,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 10,
    "max_score" : 2.7033195,
    "hits" : [ {
      "_index" : "test",
      "_type" : "supersearch",
      "_id" : "AVOhG4x9J_-fAShDYmCN",
      "_score" : 2.7033195,
      "_source":{"haclcode": "ed", "townname": "null", "distname": "城陽區", "towncode": "null", "distcode": "CHY", "WordClass": "ha", "OriginString": "指教中心", "y": "36.30916300197122", "x": "120.38120840204475", "WordCode": "CL029103CHY4064", "NewString": "城陽職教中心"}
    }, {
      "_index" : "test",
      "_type" : "supersearch",
      "_id" : "AVOhG4x9J_-fAShDYmCM",
      "_score" : 2.5207999,
      "_source":{"haclcode": "ed", "townname": "null", "distname": "城陽區", "towncode": "null", "distcode": "CHY", "WordClass": "ha", "OriginString": "職教中心", "y": "36.30916300197122", "x": "120.38120840204475", "WordCode": "CL029103CHY4064", "NewString": "城陽職教中心"}
    }, {
      "_index" : "test",
      "_type" : "supersearch",
      "_id" : "AVOhG4x9J_-fAShDYmCL",
      "_score" : 2.2980154,
      "_source":{"haclcode": "ed", "townname": "null", "distname": "城陽區", "towncode": "null", "distcode": "CHY", "WordClass": "ha", "OriginString": "明陽路職教", "y": "36.30916300197122", "x": "120.38120840204475", "WordCode": "CL029103CHY4064", "NewString": "城陽職教中心"}
    }]
   }
}

多詞查詢

curl -XPOST  http://10.10.20.16:9200/index/test/_search?pretty  -d'
{
    "query" : { "match" : { "OriginString" : {"query":"城陽 中心","operator":"and" }}}
}'

跨欄位查詢

curl -XPOST  http://10.10.20.16:9200/index/test/_search?pretty  -d'
{
    "query" : { "multi_match" : { "query":"職教中心","fields":["OriginString","NewString"]} }
}'

總結

  Elasticsearch的全文檢索功能我們介紹的只是入門，有好多細節性的東西需要我們在測試或使用過程中慢慢去了解，如結構化查詢、過濾操作，都可以幫助我們有效分析資料檔案。另外，此處我們是將資料庫的匯出到文字檔案，然後自行格式化為bulk適用的json格式，在生產環境中我們也可以藉助相關外掛，直接將資料庫資料匯入到elasticsearch中，大大提高了效率。

相關推薦

Elasticsearch全文檢索，高亮關鍵字

code spa nsh pes lds exp response sets highlight 問題 用如下這樣的term方式，可以高亮 .setQuery(QueryBuilders.termQuery("PARAM_NAME", "a")) { "query":

Elasticsearch全文檢索工具入門

使用步驟 artifact rop 創建 是否 方式 cluster 包名 Lucene 1 Elasticsearch全文檢索工具入門: 2 1.下載對應系統版本的文件 3 elasticsearch-2.4.0.zip 4

ElasticSearch 全文檢索— ElasticSearch 核心概念

行處理 nod 分詞 關註 使用 stack 分布 creat 一是 ElasticSearch核心概念-Cluster 　　1）代表一個集群，集群中有多個節點，其中有一個為主節點，這個主節點是可以通過選舉產生的，主從節點是對於集群內部來說的。es的一個概念就是去中心化，

TB級Elasticsearch全文檢索優化研究

TB級Elasticsearch全文檢索優化研究 背景 今年工作的一個重點是“新技術新模式”的匯入和研究。Elasticsearch技術比較火，各專案和產品用的都也比較多。其中某團隊遇到一個問題：“在TB級的資料量下進行全文檢索時，ES叢集檢索響應速度比較慢”。雖然由於各種原因沒有接觸到系統，沒有看到程式

Elasticsearch全文檢索之copy_to

全文檢索場景在實際專案中，無界搜尋具體查詢某一個欄位對於客戶來說是不確定的，但是實際資料中需要檢索的欄位非常多。 在使用elasticsearch時遇見了這樣的需求：es聚合指定欄位時聚合的結果裡面只顯

springboot整合elasticsearch全文檢索入門

只是簡單的整合介紹 # 安裝 # 依賴 springBootVersion = '2.0.5.RELEASE' compile group: 'org.springframework.boot', name: 'spring-boot-starter-da

Elasticsearch全文檢索系統實現深入詳解

題記 學習ES的童鞋，都有一個開發一個類似百度的搜尋引擎的想法。當然功能不一定是百度、360、谷歌傳統的搜尋引擎那麼強大。 但是，能實現基本的全文檢索、指定型別的檢索、評分高低優先順序排序等等。 那麼問題來了，該如何實現？需要什麼技術呢？ 1、Ela

elasticsearch 全文檢索,geo地理位置附近的人查詢

            elasticsearch 5.0.1  單機 cpu 8g記憶體     100萬資料量，搜尋耗時30ms 左右         ** * 實現附近的人功能，最大限額1000人，1米到100米範圍內的人 */ public class ES

Elasticsearch全文檢索

簡介   Elasticsearch是一個實時分散式搜尋和分析引擎，用於全文搜尋、結構化搜尋、分析以及將這三者混合使用。Elasticsearch實現全文索引，需要使用分詞器，預設使用的standard分詞器。由於本文介紹的是中文的全文檢索，因此我們需要使用第

Elasticsearch全文檢索實戰小結——覆盤我帶的第二個專案

一、專案概述 這是一個被我稱之為“沒有槍、沒有炮，硬著頭皮自己造”的專案。專案是和其它公司合作的三個核心模組開發。 使用ES的目的是： 1）、採集資料、網站資料清洗後存入ES； 2）、對外提供精確檢索、萬用字元檢索、模糊檢索、分詞檢索、全文檢索介面等二次

Elasticsearch全文檢索企業開發記錄總結（二）：ES客戶端搭建

專案依賴 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport<

Elasticsearch全文檢索學習

ElasticSearch官方網址：https://www.elastic.co ElasticSearch官方網址（中文）：https://www.elastic.co/cn/ Elasticsearch 權威指南（中文版文件，線上觀看）：https://es.xiaoleilu.com/ 1、

全文檢索學習歷程目錄結構Lucene、ElasticSearch

wql elong f2c xiang bench ros dml bst nsh Linux%20Shell%E7%B3%BB%E5%88%97%E6%95%99%E7%A8%8B%E4%B9%8B%E4%BA%8C%E7%AC%AC%E4%B8%80%E4%B8%AAS

14套java精品高級架構課，緩存架構，深入Jvm虛擬機，全文檢索Elasticsearch視頻教程

http soft 精品 target mysql rocket body 精通 ava 14套java精品高級架構課，緩存架構，深入Jvm虛擬機，全文檢索Elasticsearch，Dubbo分布式Restful服務，並發原理編程，SpringBoot，SpringClo

全文檢索及ElasticSearch框架學習

性能 tar 監控 流行 ron ref 目的 快速 服務 1. 全文檢索的通用步驟： 1、建庫步驟： 　　a 分詞 　　b 倒排索引 : 關鍵詞和記錄Id的對應關系,1對多。 2、查詢步驟： 　　a 分詞 　　b 查索引 　　c 取交集

ElasticSearch教程——精準全文檢索

ElasticSearch彙總請檢視：ElasticSearch教程——彙總篇   1、為帖子資料增加標題欄位 POST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"title" : "this is

全文檢索ElasticSearch與Spring boot集成實例

ini ng- har .com maven onu ren oot beans 全文檢索1.全文搜索概念：（1）數據結構：·結構化：只具有固定格式或者有限長度的數據，如數據庫，元數據等·非結構化：指不定長或者無固定格式的數據，如郵件，word文檔等（2）非結構化數據的檢索

Elasticsearch：什麼是全文檢索？

什麼是全文檢索？ 全文檢索是指計算機索引程式通過掃描文章中的每一個詞，對每一個詞建立一個索引，指明該詞在文章中出現的次數和位置，當用戶查詢時，檢索程式就根據事先建立的索引進行查詢，並將查詢的結果反饋給使用者的檢索方式。這個過程類似於通過字典中的檢索字表查字的過程。 在說全文檢索之前我們先

springboot+elasticsearch + rabbitMQ實現全文檢索（專案搭建）

最近做一個社群類的專案：實現全文檢索 開發完成做一個總結記錄。 spring-boot-1.5.9.RELEASE ES 5.6.4 首先搭建ES環境 引用大佬文章 搭建ES環境： https://blog.csdn.net/u012270682/article/details/7293

springboot+elasticsearch + rabbitMQ實現全文檢索（項目搭建）

runt mage ans log 127.0.0.1 改變 引用 復制 ping 最近做一個社區類的項目：實現全文檢索 開發完成做一個總結記錄。 spring-boot-1.5.9.RELEASE ES 5.6.4 首先搭建ES環境 引用大佬文章 搭建ES環境： http