2. 程式人生 > >ES學習記錄11——搜尋模板(Search Template)

ES學習記錄11——搜尋模板(Search Template)

阿新 • • 發佈：2019-02-11

1. 搜尋模板

 /_search/template端點允許使用mustache language(繼承ES沙箱指令碼語言的一種語言，是護胡言亂語嗎……)為每個呈現搜尋請求，在執行前和用模板引數填充現有的模板：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
    "source" : {
      "query": { "match" : { "{{my_field}}" : "{{my_value}}" } },
      "size" : "{{my_size}}"
    }
 
,
    "params" : {
        "my_field" : "message",
        "my_value" : "some message",
        "my_size" : 5
    }
}
'

執行這個請求時，ES卡住沒有響應，一直處於loading的狀態。

模板樣例

用單值填充查詢字串

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
    "source": {
        "query": {
            "term"
 
: {
                // 使用佔位符的方式{{xxx}}使用一個變數
                "user": "{{query_string}}"
            }
        }
    },
    "params": {
        // 定義上述使用到的變數
        "query_string": "kimchy3"
    }
}
'

轉換引數成JSON

{{#toJson}}parameter{{/toJson}}函式可以用來將map或陣列的引數parameter轉換成對應的JSON(下面是查詢使用者名稱為kimchy4和kimchy3

兩個使用者)：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
    // 將變數users轉成對應的JSON
  "source": "{ \"query\": { \"terms\": {{#toJson}}users{{/toJson}} }}",
  "params": {
      // 將users變數填充到上面的函式中
    "users" : {
        "user": [ "kimchy4", "kimchy3" ]
    }
  }
}
'

最終的轉換結果(但是實際是看不到的)為：

// 轉成JSON串
"query": {
    "terms": {
        "users": {
            "user": [
                "kimchy4",
                "kimchy3"
            ]
        }
    }
}

連線陣列的值

 {{#join}}array{{/join}}函式可以用來將陣列array內的元素連線為一個用逗號,分隔的字串（twitter索引中有kimchy1…kimchy4、kimchy,5五個文件），下面是一個栗子：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      "match": {
        "user": "{{#join}}user{{/join}}"
      }
    }
  },
  "params": {
    "user": [ "kimchy", "5" ]
  }
}
'

這樣最終傳入的user變數為kimchy,5(由陣列[ "kimchy", "5" ]轉成kimchy,5)，即直接去匹配了。上述是使用預設的分隔符(即逗號,)來連線陣列各個元素，當前這個分隔符也可以自定義，使用自定義分隔符函式{{#join delimiter='xx'}}date.formats{{/join delimiter='xx'}}即可將預設的,改為||，比如：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      "range": {
        "born": {
            "gte"   : "{{date.min}}",
            "lte"   : "{{date.max}}",
            // 將原來逗號的分隔符改為雙豎槓||
            "format": "{{#join delimiter='||'}}date.formats{{/join delimiter='||'}}"
            }
      }
    }
  },
  "params": {
    "date": {
        "min": "2016",
        "max": "31/12/2017",
        "formats": ["dd/MM/yyyy", "yyyy"]
    }
  }
}
'

born最終的轉換為：

"born" : {
    "gte" : "2016",
    "lte" : "31/12/2017",
    "format" : "dd/MM/yyyy||yyyy"
}

預設值

預設值的寫法為：{{var}}{{^var}}default{{/var}}，下面是小栗子：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
  "source": {
    "query": {
      // 查詢範圍內獲贊數的文件
      "range": {
        // 指定按獲贊數進行篩選
        "likes": {
          // 獲贊數的下限
          "gte": "{{start}}",
          // 獲贊數的上限
          "lte": "{{end}}{{^end}}20{{/end}}"
        }
      }
    }
  },
  "params": {
      ...
  }
}
'

如果params中定義start和end兩個變數，比如：

  "params": {
      "start": 12,
      "end": 13
  }

那最終的查詢引數最終為：

    "line_no": {
        "gte": "12",
        "lte": "13"
    }

但如果params中只定義了start變數，沒有定義end變數，如：

  "params": {
      "start": 12
  }

那預設變數{{end}}{{^end}}20{{/end}}生效，此時查詢引數為：

    "line_no": {
        "gte": "12",
        "lte": "20"
    }

條件語句(待處理)

條件語句不能使用JSON形式的模板，而是必須用字串的方式，下面是一個查詢行號的小栗子：

{
  "query": {
    "bool": {
      "must": {
        "match": {
          // 將text引數填充
          "line": "{{text}}"
        }
      },
      // 這個過濾器只有params中指定了line_no才會建立，否則不會建立
      "filter": {
        {{#line_no}} // 這裡使用{{#xx}}..{{/xx}}包裹
          "range": {
            "line_no": {
              {{#start}}
                "gte": "{{start}}"
                {{#end}},{{/end}}
              {{/start}}
              {{#end}}
                "lte": "{{end}}"
              {{/end}}
            }
          }
        {{/line_no}}
      }
    }
  },
  "params": {
      "text": "words to search for",
      // 下面這些引數都是可選的
      "line_no": { // 這個引數可省
          "start": 10, // 可省
          "end": 20 // 可省
      }
  }
}

上述的條件語句中其實就是使用{{#A}}..B..{{/A}}將執行語句B包裹在內部，換成java裡面的寫法就是if(A != null) {B}，即只有變數A不為空就執行B，否則不執行B。特別注意的是上述並不是有效的JSON格式(含有{{#line_on}}這些標記)，所以需要將整個配置寫成字串的形式，注意雙引號的轉義，簡單寫成：

"source": "{\"query\":{\"bool\":{\"must\":{\"match\":{\"line\":\"{{text}}\"}},\"filter\":{{{#line_no}}\"range\":{\"line_no\":{{{#start}}\"gte\":\"{{start}}\"{{#end}},{{/end}}{{/start}}{{#end}}\"lte\":\"{{end}}\"{{/end}}}}{{/line_no}}}}}}"

這裡執行遇到如下問題（待解決）：

{
    "error": {
        "root_cause": [
            {
                "type": "general_script_exception",
                "reason": "Failed to compile inline script [{\"query\":{\"bool\":{\"must\":{\"match\":{\"line\":\"{{text}}\"}},\"filter\":{{{#line_no}}\"range\":{\"line_no\":{{{#start}}\"gte\":\"{{start}}\"{{#end}},{{/end}}{{/start}}{{#end}}\"lte\":\"{{end}}\"{{/end}}}}{{/line_no}}}}}}] using lang [mustache]"
            }
        ],
        "type": "general_script_exception",
        "reason": "Failed to compile inline script [{\"query\":{\"bool\":{\"must\":{\"match\":{\"line\":\"{{text}}\"}},\"filter\":{{{#line_no}}\"range\":{\"line_no\":{{{#start}}\"gte\":\"{{start}}\"{{#end}},{{/end}}{{/start}}{{#end}}\"lte\":\"{{end}}\"{{/end}}}}{{/line_no}}}}}}] using lang [mustache]",
        "caused_by": {
            "type": "mustache_exception",
            "reason": "Improperly closed variable in query-template:1"
        }
    },
    "status": 500
}

URL編碼

{{#url}}value{{/url}}函式可以用來將HTML文字編碼為字串，比如：

curl -X GET "localhost:9200/_render/template" -H 'Content-Type: application/json' -d'
{
    "source" : {
        "query" : {
            "term": {
                "http_access_log": "{{#url}}{{host}}/{{page}}{{/url}}"
            }
        }
    },
    "params": {
        "host": "https://www.elastic.co/",
        "page": "learn"
    }
}
'

最終上述請求的結果為：

{
    "template_output": {
        "query": {
            "term": {
                "http_access_log": "https%3A%2F%2Fwww.elastic.co%2F%2Flearn"
            }
        }
    }
}

預註冊模板

通過儲存指令碼API可以註冊搜尋模板，比如：

// 註冊模板testtemplate，可以自定義
curl -X POST "localhost:9200/_scripts/testtemplate" -H 'Content-Type: application/json' -d'
{
    "script": {
        // 定義使用語言未mustache
        "lang": "mustache",
        "source": {
            "query": {
                "match": {
                    "title": "{{query_string}}"
                }
            }
        }
    }
}
'

取出上述的模板：

curl -X GET "localhost:9200/_scripts/testtemplate"

// 結果
{
    "_id": "testtemplate",
    "found": true,
    "script": {
        "lang": "mustache",
        "source": "{\"query\":{\"match\":{\"title\":\"{{query_string}}\"}}}",
        "options": {
            "content_type": "application/json; charset=UTF-8"
        }
    }
}

驗證模板(關於模板驗證見下面的驗證模板)：

curl -X POST "localhost:9200/_render/template/twittertemplate" -H 'Content-Type: application/json' -d'
{
	"params": {
		"query_string": "kimchy2"
	}
}
'

// 結果
{
    "template_output": {
        "query": {
            "match": {
                "user": "kimchy2"
            }
        }
    }
}

使用上述預定義的模板可以如下使用：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
    // 這裡的id就是註冊模板的名字
    "id": "<templateName>",
    // 未模板注入引數
    "params": {
        "query_string": "search for these words"
    }
}
'

刪除模板：

curl -X DELETE "localhost:9200/_scripts/<templatename>"

下面是一套完整的模板從註冊到使用的過程：

// 1. 註冊模板
curl -X POST "localhost:9200/_scripts/twittertemplate" -H 'Content-Type: application/json' -d'
{
    "script": {
        "lang": "mustache",
        "source": {
            "query": {
                "match": {
                    "user": "{{query_string}}"
                }
            }
        }
    }
}
'

// 2. 使用模板
curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
    "id": "twittertemplate",
    "params": {
        "query_string": "kimchy2"
    }
}
'

// 結果
{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 15,
        "successful": 15,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.6931472,
        "hits": [
            {
                "_index": "twitter",
                "_type": "_doc",
                "_id": "2",
                "_score": 0.6931472,
                "_source": {
                    "user": "kimchy2",
                    "likes": 9,
                    "post_date": 1542197883,
                    "message": "trying out Elasticsearch"
                }
            }
        ]
    }
}

驗證模板

模板可以帶著使用的引數出現在響應中，比如：

curl -X GET "localhost:9200/_render/template" -H 'Content-Type: application/json' -d'
{
  "source": "{ \"query\": { \"terms\": {{#toJson}}statuses{{/toJson}} }}",
  "params": {
    "statuses" : {
        "status": [ "pending", "published" ]
    }
  }
}
'

// 結果
{
    "template_output": {
        "query": {
            "terms": {
                "status": [
                    "pending",
                    "published"
                ]
            }
        }
    }
}

通過結果看其實就是看一下轉換的結果(可以帶入引數檢視)。

得分說明

使用模板時也可以使用explain引數開啟得分說明：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
	"id": "twittertemplate",
	"params": {
		"query_string": "kimchy2"
	},
	"explain": true
}
'

// 結果
{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 15,
        "successful": 15,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.6931472,
        "hits": [
            {
                "_shard": "[twitter][2]",
                "_node": "bKeGC-Q-SXuyyGlcarDrMg",
                "_index": "twitter",
                "_type": "_doc",
                "_id": "2",
                "_score": 0.6931472,
                "_source": {
                    "user": "kimchy2",
                    "likes": 9,
                    "post_date": 1542197883,
                    "message": "trying out Elasticsearch"
                },
                "_explanation": {
                    "value": 0.6931472,
                    "description": "weight(user:kimchy2 in 0) [PerFieldSimilarity], result of:",
                    "details": [
                        {
                            "value": 0.6931472,
                            "description": "score(doc=0,freq=1.0 = termFreq=1.0\n), product of:",
                            "details": [
                                {
                                    "value": 0.6931472,
                                    "description": "idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:",
                                    "details": [
                                        {
                                            "value": 1,
                                            "description": "docFreq",
                                            "details": []
                                        },
                                        {
                                            "value": 2,
                                            "description": "docCount",
                                            "details": []
                                        }
                                    ]
                                },
                                {
                                    "value": 1,
                                    "description": "tfNorm, computed as (freq * (k1 + 1)) / (freq + k1) from:",
                                    "details": [
                                        {
                                            "value": 1,
                                            "description": "termFreq=1.0",
                                            "details": []
                                        },
                                        {
                                            "value": 1.2,
                                            "description": "parameter k1",
                                            "details": []
                                        },
                                        {
                                            "value": 0,
                                            "description": "parameter b (norms omitted for field)",
                                            "details": []
                                        }
                                    ]
                                }
                            ]
                        }
                    ]
                }
            }
        ]
    }
}

配置

使用模板時也可以使用profile引數：

curl -X GET "localhost:9200/_search/template" -H 'Content-Type: application/json' -d'
{
  "id": "twittertemplate",
  "params": {
	"query_string": "kimchy2"
  },
  "profile": true
}
'

2. 多搜尋模板(Mutil Search Template)

 多搜尋模板API可以使用_msearch/template端點執行多個搜尋模板請求（和多搜尋請求API類似），形式如下：

header\n
body\n
header\n
body\n

header\n：頭部header和多搜尋API類似支援相同的index、search_type、preference和routing選項；
body\n：體body包括一個搜尋模板體請求並支援內聯、儲存和檔案模板，如下：

$ cat requests
{"index": "test"}
// 內聯搜尋模板請求
{"source": {"query": {"match":  {"user" : "{{username}}" }}}, "params": {"username": "john"}}
{"source": {"query": {"{{query_type}}": {"name": "{{name}}" }}}, "params": {"query_type": "match_phrase_prefix", "name": "Smith"}}
{"index": "_all"}
// 基於儲存模板的搜尋模板請求
{"id": "template_1", "params": {"query_string": "search for these words" }}

$ curl -H "Content-Type: application/x-ndjson" -XGET localhost:9200/_msearch/template --data-binary "@requests"; echo

相關推薦

ES學習記錄11——搜尋模板(Search Template)

1. 搜尋模板  /_search/template端點允許使用mustache language(繼承ES沙箱指令碼語言的一種語言，是護胡言亂語嗎……)為每個呈現搜尋請求，在執行前和用模板引數填充現有的模板： curl -X GET "localhost:92

ES學習記錄11——ES分析器2(標記生成器)

 tokenizer(標記生成器)接受字元流，負責將它們分割為獨立的標記tokens(通常是一個個獨立的單詞)，最後將這些tokens輸出。比如空格標記生成器whitespace在分割文字時，只要遇到空格就會執行分割，比如whitespace標記生成器會將文字Q

ES學習記錄9.4——請求體搜尋(欄位摺疊Filed Collapsing和搜尋後Search After)

1. 欄位摺疊  ES允許基於欄位值摺疊搜尋結果，ES僅對排序後文檔的頂部文件執行成摺疊操作，比如從每個推特使用者獲取它們最好的推文並通過其他使用者的點贊數進行排序(升序)： // 建立索引，這裡一定要將user欄位的型別設定為keyword或numeric c

ES學習記錄9--請求體搜尋--Rescoring

 Rescoring再評分機制通過將query和post_filter關鍵詞返回來的前一部分文件資料(比如前100-500個文件)進行重新排序可以提高精確度，這個過程中使用的是次要演算法(通常次要演算法

openshift/origin學習記錄（5）——新增Template（模板）並基於模板部署應用

學習資料來源於官方英文文件與《開源容器雲OpenShift》一書，因為剛開始學習，不確定部落格的正確性，以下內容僅供參考。 新增模板 為了滿足使用者對複雜應用部署的需求，提供應用部署的效率，openshift引入了應用部署模板（Template）的概

Vue.js學習記錄-11-Vue去哪兒網專案實戰：城市列表頁開發-功能點概述 + City

2.城市列表頁開發 功能點概述 頁面路由跳轉(Home -> City): 點選首頁城市選擇按鈕，即可跳轉至城市列表頁。 使用者可以在搜尋欄中可輸入資訊進行城市資訊的檢索，檢索結果以列表形式展現，選定城市後會進行首頁的路由跳轉。

【資料科學系統學習】機器學習演算法 # 西瓜書學習記錄 [11] 整合學習

本篇內容為西瓜書第 8 章整合學習 8.1 8.2 8.3 8.4 8.5 的內容： 8.1 個體與整合 8.2 Boosting 8.3 Bagging與隨機森林 8.4 結合策略 8.5 多樣性 如移動端無法正常顯示文中的公式，右上角跳至網頁即可正常閱讀。

ES學習記錄2——ES核心概念和基本操作.md

2. Elasticsearch基本核心概念  Elasticsearch中具備一些基本的概念，做如下描述： Near Realtime(NRT)：ES是幾乎是一個實時查詢平臺，從索引文件到可搜尋文件有一點延遲，通常是1秒； Cluster：叢集是一個或多個節

LeetCode 學習記錄 11. Container With Most Water

1 題目要求： Given n non-negative integers a1, a2, ..., an , where each represents a point at coordinate (i, ai). n vertical lines are drawn s

ES學習記錄10——ES分析器

1. 概述  ES中“分析”是指轉換文字的處理過程(比如一個郵件的正文)，將這些文字轉換為標記或者術語(即tokens和terms)，並將這些標記或術語新增到用於搜尋的反向索引。分析這個動作在ES中是由分析器(analyzer)完成的，分析器可以是ES內建

ES學習記錄12——ES分析器3(標記過濾器)

 作為分析器三大組成部分的另一部分，標記過濾器(token filters)是非必要的。token filters從標記生成器tokenizer那裡接受標記輸入流，可以用來修改(如將術語轉成小寫)、刪除

OpenGL ES 學習教程(十三) Stencil_TEST(模板緩衝測試)

模板緩衝測試，是指 將模版緩衝區中的值 與 一個參考值 進行比較，根據比較的結果，來對緩衝區中的值進行修改。進而決定該片段是否有效。在應用中的體現就比如：Unity中的Mask 。大致的工作流程：1、第一次Draw的時候，將所有的片段都設定為不通過模版測試。然後修改模版緩衝區

Spring Boot學習記錄(二)--thymeleaf模板

Spring Boot學習記錄(二)–thymeleaf模板 標籤（空格分隔）： spring-boot 自從來公司後都沒用過jsp當介面渲染了,因為前後端分離不是很好,反而模板引擎用的比較多,thymeleaf最大的優勢字尾為html,就是隻需要瀏覽器

ES學習記錄10.3——ES分析器4(字元過濾器)

浪費了“黃金五年”的Java程式設計師，還有救嗎？ >>>   

Elasticsearch 之（36）使用search template將搜尋模板化

前言搜尋模板，search template，高階功能，就可以將我們的一些搜尋進行模板化，然後的話，每次執行這個搜尋，就直接呼叫模板，給傳入一些引數就可以了，如果不瞭解搜尋語法的，可以先閱讀《 Elasticsearch 之（5）kibana多種搜尋方式》。1、search

sqlite學習筆記11：C語言中使用sqlite之刪除記錄

false done mta ase rom real not null -a ubun 最後一節，這裏記錄下怎樣刪除數據。 前面全部的代碼都繼承在這裏了，在Ubuntu14.04和Mac10.9上親測通過。 #include <stdio.h> #in

《高級軟件測試》11月15日學習記錄

壓縮 慕課 軟件測試 匯報 測試平臺 視頻制作 學習記錄 工作 大致 今天，1707班5組的成員，在昨天確立了分工之後，除了完成對慕課的學習之外，也同時在推進關於對JIRA的學習。 在確定選定的測試平臺之後。我們著手學習和了解了該項目管理平臺的使用手冊並註冊賬號開始進行實地

11月4日學習記錄

1.11月4日的貪心記錄與總結（見部落格） 2.終於結束的起點： 更新fib時若資料過大，只需要記錄3個變數來計算某一位fib值 注意fib很容易爆掉，一定開long long，且取模運算見程式碼，防止溢位（題目要求取模） 3.關於字串的一些操作： 1.map：做了潛伏者：map一個經常在字串中

11月5日學習記錄

1.完善了二分答案使用的模板： int left=1,right=m,ans; while(left<=right){ int mid=(left+right)/2; if(jud(mid)) left=mid+1; else

11月6日學習記錄

1.關於深搜，廣搜中的一些玄學操作：（文化之旅）（圖論中） 當你在搜尋時，遇到一些點之間存在矛盾條件時，怎樣判斷下一個節點： 可能會想每次詢問決策時將每一個節點都訪問並比對。但可以利用特殊操作來適應圖論： 如果兩個點之間存在矛盾： （很具有這類的代表性）