1. 程式人生 > >ElasticSearch實戰系列二: ElasticSearch的DSL語句使用教程---圖文詳解

ElasticSearch實戰系列二: ElasticSearch的DSL語句使用教程---圖文詳解

前言

在上一篇中介紹了ElasticSearch叢集和kinaba的安裝教程,本篇文章就來講解下 ElasticSearch的DSL語句使用。

ElasticSearch DSL 介紹

Elasticsearch提供了基於JSON的完整查詢DSL(特定於域的語言)來定義查詢。將查詢DSL視為查詢的AST(抽象語法樹),它由兩種子句組成:

  • 葉子查詢子句:
    葉查詢子句中尋找一個特定的值在某一特定領域,如 match,term或 range查詢。這些查詢可以自己使用。
  • 複合查詢子句
    複合查詢子句包裝其他葉查詢或複合查詢,並用於以邏輯方式組合多個查詢(例如 bool或dis_max查詢),或更改其行為(例如 constant_score查詢)。
    查詢子句的行為會有所不同,具體取決於它們是在 查詢上下文中還是在過濾器上下文中使用。

我們在使用ElasticSearch的時候,避免不了使用DSL語句去查詢,就像使用關係型資料庫的時候要學會SQL語法一樣。如果我們學習好了DSL語法的使用,那麼在日後使用和使用Java Client呼叫時候也會變得非常簡單。

ElasticSearch DSL 語句使用

這裡我們先來介紹下DSL 語句簡單的使用,從最常用的增刪改查開始!

一、新增資料

ElasticSearch可以直接新增資料,只要你指定了index(索引庫名稱)和type(型別)即可。在新增的時候你可以自己指定主鍵ID,也可以不指定,由 ElasticSearch自身生成。

新增資料命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

kinaba示例圖:

**注: POST test1/_doc/1 這是指定主鍵ID為1,如果POST test1/_doc 的話,那麼便是es自身生成ES語句。**

這裡我們還可以通過 GET test1/GET test1/_settingsGET test1/_mapping檢視該index的狀態,也就是 setting(設定選項) 和mapping(資料結構)。

二、建立索引庫

在上述示例中,我們通過直接通過建立資料從而建立了索引庫,但是沒有建立索引庫而通過ES自身生成的這種並不友好,因為它會使用預設的配置,欄位結構都是text(text的資料會分詞,在儲存的時候也會額外的佔用空間),分片和索引副本採用預設值,預設是5和1,ES的分片數在建立之後就不能修改,除非reindex(下面會講到),所以這裡我們還是指定資料模板進行建立。

這裡先簡單介紹一下ES的資料結構,以下的資料結構為ES的6.x版本。

  • 核心資料型別
    text 和 keyword
  • 數值資料型別
    long,integer,short,byte,double,float,half_float,scaled_float
  • 日期資料型別
    date
  • 布林資料型別
    boolean
  • 二進位制資料型別
    binary
  • 範圍資料型別
    integer_range,float_range,long_range,double_range,date_range

  • 複雜資料型別編輯
  • 物件資料型別
    object 用於單個JSON物件
  • 巢狀資料型別
    nested 用於JSON物件陣列

  • 地理資料型別編輯
  • 地理位置資料型別
    geo_point 緯度/經度積分
  • 地理形狀資料型別
    geo_shape 用於多邊形等複雜形狀

  • 專業資料型別編輯
  • IP資料型別
    ip 用於IPv4和IPv6地址
  • 完成資料型別
    completion 提供自動完成建議
  • 令牌計數資料型別
    token_count 計算字串中令牌的數量
    mapper-murmur3
    murmur3 在索引時計算值的雜湊並將其儲存在索引中
    mapper-annotated-text
    annotated-text 索引包含特殊標記的文字(通常用於標識命名實體)
  • 滲濾器型別
    接受來自query-dsl的查詢
  • join 資料型別
    為同一索引內的文件定義父/子關係
  • 別名資料型別
    為現有欄位定義別名。

  • 多欄位編輯
    為不同的目的以不同的方式對同一欄位建立索引通常很有用。例如,一個string欄位可以對映為text用於全文搜尋的欄位,也可以對映為keyword用於排序或聚合的欄位。或者,您可以使用standard分析儀, english分析儀和 french分析儀索引文字欄位。
    這是多領域的目的。大多數資料型別通過fields引數支援多欄位。

上面介紹的欄位介紹雖然比較複雜,但是我們常用的幾個型別也就是這幾種 text、keyword、byte、short、integer、long、float、double、boolean、date,其中text和keyword都是string型別,選擇區分很簡單,需要進行分詞用text,不需要並且進行排序或聚合的可以用keyword。

關於ES的資料結構就到這裡了,我們來進行索引庫的建立吧!

新增索引庫的命令示例:

PUT test1
{
    "settings" : {
        "number_of_shards" : 10,
        "number_of_replicas" : 1,
         "refresh_interval" : "1s"
    },
    "mappings" : {
        "_doc" : {
            "properties" : {
                "uid" : { "type" : "long" },
                "phone" : { "type" : "long" },
                "message" : { "type" : "keyword" },
                "msgcode" : { "type" : "long" },
                 "sendtime" : {  
                  "type" : "date",
                  "format" : "yyyy-MM-dd HH:mm:ss" 
  }
                
            }
        }
    }
}

示例圖:


注:

  • number_of_shards: 是設定的分片數,設定之後無法更改!
  • refresh_interval: 是設定es快取的重新整理時間,如果寫入較為頻繁,但是查詢對實時性要求不那麼高的話,可以設定高一些來提升效能。可以更改
  • number_of_replicas : 是設定該索引庫的副本數,建議設定為1以上。

其中這裡還有幾個重要引數也順便說一下:

  • store: true/false 表示該欄位是否儲存,預設儲存。
  • doc_values: true/false 表示該欄位是否參與聚合和排序。
  • index: true/false 表示該欄位是否建立索引,預設建立。

關於這幾個欄位的取值可以參考一下的示例圖:

三、修改資料

其實ES的新增和修改可以看做是一樣,存在則修改,不存在則新增,不過這裡還是簡單的介紹下吧。
修改資料的方式主要有兩種,一種是通過主鍵ID進行修改,這種比較簡單,就是和新增一樣即可。
另一種則是通過條件進行修改,相當於SQL更新語句的 where條件。

根據主鍵修改的命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

根據條件修改的命令示例:

POST test1/_update_by_query
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  } ,
  "script": {
    "source": "ctx._source['message'] = 'xuwujing'"
  }
}

原有的資料:

修改後的資料:

注:這裡的根據條件進行修改用到的指令碼語言,ES除了使用DSl語句之後,使用一些官方定義的指令碼語言和SQL語句也能進行操作,指令碼語言和SQL語句的操作留到以後在來講下。

四、刪除資料、欄位和索引庫

ES根據主鍵刪除資料的命令示例是DELETE 索引庫/id,簡單實用,但是一定要要加上ID,不然就是刪除索引庫了!

根據主鍵刪除資料命令示例:

DELETE test1/1

根據條件刪除資料的命令示例:

POST test/_delete_by_query
{
  "query": {
      "term": {
        "phone": "12345678909"
      }
  }
}

當然ES還可以根據條件只刪除某一個欄位的資料,比如刪除欄位msgcode的資料。

刪除欄位資料的命令示例:

POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}

示例圖:

查詢語句

查詢所有

match_all可以查詢叢集所有索引庫的資訊,包括一些隱藏索性庫的資訊。
命令示例:

GET _search
{   
  "query": {
    "match_all": {}
  }
}

示例圖:

查詢索引庫所有的資料,命令格式為GET 索引庫名稱/索引庫型別/_search,也可以不需要索引庫型別。

命令示例:

GET  test1/_doc/_search

如果根據ID查詢某一條資料的話,也比較簡單,只需要將上述的_search換成主鍵ID即可。
命令示例:

GET  test1/_doc/2

等值(term)查詢

term主要用於精確匹配哪些值,比如數字,日期,布林值或 not_analyzed 的字串(未經分析的文字資料型別)

比如根據手機號進行查詢。
命令示例:

GET  test1/_doc/_search
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  }
}

當然,如果想在一個欄位匹配多個值的話,可以使用terms,相當於SQL的in語法。

命令示例:

GET  test1/_doc/_search
{
  "query": {
    "terms": {
       "uid": [ 
        1234, 
        12345, 
        123456
      ] 
    }
  }
}

示例圖:

注:上述中是沒有123456這條資料,這樣只是為了做下簡單的測試而已。

範圍(range )查詢

range可以理解為SQL中的><符號,其中gt是大於,lt是小於,gte是大於等於,lte是小於等於。

命令示例:

GET  test1/_doc/_search
{
  "query": {
   "range": { 
      "uid": { 
        "gt": 1234,
        "lte": 12345
      } 
    } 
  }
}

存在(exists)查詢

exists可以理解為SQL中的exists函式,就是判斷是否存在該欄位。

這裡我們新增一條沒有msgcode的欄位,然後用exists去查詢。

POST test1/_doc/3
{
    "uid" : "123456",
    "phone" : "12345678909",
    "message" : "qq",
    "sendtime" : "2019-03-14 01:57:04"
}

存在查詢命令示例:

GET  test1/_doc/_search
{
  "query": {
   "exists": { 
       "field":"msgcode" 
    } 
  }
}

示例圖:


組合(bool)查詢

bool 可以用來合併多個過濾條件查詢結果的布林邏輯,它包含這如下幾個操作符:

  • must : 多個查詢條件的完全匹配,相當於 and。
  • must_not ::多個查詢條件的相反匹配,相當於 not。
  • should : 至少有一個查詢條件匹配, 相當於 or。

查詢的命令示例:

GET /test1/_search
{
  "query": {
    "bool": {
      "must": {
        "term": {
          "phone": "12345678909"
        }
      },
      "must_not": {
        "term": {
          "uid": 12345
        }
      },
      "should": [
        {
          "term": {
            "uid": 1234
          }
        },
        {
          "term": {
            "uid": 123456
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  }
}

示例圖:

模糊(wildcard)查詢

wildcard查詢相當於SQL語句中的like語法,只不過它查詢的資料需要加上*符號。

模糊查詢命令示例:

GET /test1/_search
{
  "query": {
   "wildcard": { 
       "message":"*wu*" 
    } 
  }
}

正則(regexp)查詢

regexp可以支援正則查詢,比如查詢簡訊內容中的驗證碼之類的。

下面的這個示例就是查詢以xu開頭,後面是0-9數字的內容的資料。

正則查詢命令示例:

GET /test1/_search
{
  "query": {
   "regexp": { 
       "message":"xu[0-9]" 
    } 
  }
}

示例圖:

查詢語句的示例到這裡就差不多就結束了,這裡在推薦一下kinaba查詢的幾個小技巧,如圖所示:

其它

參考:
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

ElasticSearch個人已經使用一年多了,在學習的過程中也積攢了一些相關資料其,只不過今年特別忙,沒有太多時間將其整理成部落格進行分享了。說來慚愧,今年寫部落格的數量有些少了,下半年自己從一個周更博主變成了月更博主了,不過後面若是時間充足的話也會多些一些的,再忙每個月至少也會寫一篇 ヾ(◍°∇°◍)ノ゙

ElasticSearch實戰系列:
ElasticSearch實戰系列一: ElasticSearch叢集+Kinaba安裝教程

音樂推薦

原創不易,如果感覺不錯,希望給個推薦!您的支援是我寫作的最大動力!
版權宣告:
作者:虛無境
部落格園出處:http://www.cnblogs.com/xuwujing
CSDN出處:http://blog.csdn.net/qazwsxpcm    
個人部落格出處:http://www.panchengming.