2. 程式人生 > 其它 >Elasticsearch打造全文搜尋引擎（二）

Elasticsearch打造全文搜尋引擎（二）

阿新 • • 發佈：2021-12-09

一、Es的文件、索引的CURD操作

1. elasticsearch概念

  • 叢集：一個或多個節點組織在一起
  • 節點：一個節點是叢集中的一個伺服器，有一個名字來標識，預設是一個隨機的漫畫角色的名字
  • 分片：將索引劃分為多份的能力，允許水平分割和擴充套件容量，多個分片相應請求，提高效能和吞吐量。
  • 副本：建立分片的一份或多份的能力，在一個節點失敗其餘節點可以頂上。
elasticsearch mysql
index(索引) 資料庫
type(型別) 表
document(文件) 行
fields 列

2.常用屬性和型別

3.內建型別

4. CURD操作

  • 索引的初始化操作
  • 指定分片和副本的數量
  • shards一旦設定不能修改
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 # 索引初始化<br>PUT lagou
{ "settings": { "index": { "number_of_shards":5,# 分片 "number_of_replicas":1# 備份 } } } GET lagou/_settings GET _all/_settings GET .kibana,lagou/_settings GET _settings # 修改settings PUT lagou/_settings { "number_of_replicas":2 } # 獲取索引資訊 GET _all GET lagou # 新建/儲存文件 # 方式一 PUT lagou/job/1 { "title":"python爬蟲分散式開發"
, "salary_min":15000, "city":"北京", "company":{ "name":"百度", "company_addr":"北京市軟體園" }, "publish_date":"2019-06-15", "comments":15 } # 新建文件 # 方式二 POST lagou/job/ { "title":"python django 開發工程師", "salary_min":30000, "city":"上海", "company":{ "name":"美團科技", "company_addr":"北京市軟體園A區" }, "publish_date":"2019-06-15", "comments":120 } GET lagou/job/1 GET lagou/job/1?_source=title GET lagou/job/1?_source=title,city GET lagou/job/1?_source # 修改文章 # 方式一 PUT lagou/job/1 { "title":"python爬蟲分散式開發", "salary_min":18000, "city":"廣州", "company":{ "name":"百度", "company_addr":"北京市軟體園" }, "publish_date":"2019-06-15", "comments":15 } # 方式二：修改修改某一欄位 POST lagou/job/1/_update { "doc": { "comments":20 } } # 刪除 DELETE lagou/job/1 DELETE lagou/job DELETE lagou

二、mget和bulk操作

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 # 批量操作 資料準備 POST lagou/job1/1 { "title":"python django 開發工程師", "salary_min":30000, "city":"上海", "company":{ "name":"美團科技", "company_addr":"北京市軟體園A區" }, "publish_date":"2019-06-15", "comments":120 } POST lagou/job1/2 { "title":"python django 開發工程師", "salary_min":30000, "city":"上海", "company":{ "name":"美團科技", "company_addr":"北京市軟體園A區" }, "publish_date":"2019-06-15", "comments":120 } POST lagou/job2/1 { "title":"python django 開發工程師", "salary_min":30000, "city":"上海", "company":{ "name":"美團科技", "company_addr":"北京市軟體園A區" }, "publish_date":"2019-06-15", "comments":120 } POST lagou/job2/2 { "title":"python django 開發工程師", "salary_min":30000, "city":"上海", "company":{ "name":"美團科技", "company_addr":"北京市軟體園A區" }, "publish_date":"2019-06-15", "comments":120 } mget批量獲取 GET _mget { "docs":[ {"_index":"lagou", "_type":"job1", "_id":1 }, {"_index":"lagou", "_type":"job2", "_id":2 } ] } GET lagou/_mget { "docs":[ { "_type":"job1", "_id":1 }, { "_type":"job2", "_id":2 } ] } GET lagou/job1/_mget { "docs":[ { "_id":1 }, { "_id":2 } ] } GET lagou/job1/_mget { "ids":[1,2] } bulk增刪改查 POST _bulk {"index":{"_index":"lagou","_type":"job1","_id":"3"}} {"title":"python django 開發工程師","salary_min":30000,"city":"上海","company":{"name":"美團科技","company_addr":"北京市軟體園A區"},"publish_date":"2019-06-15","comments":120} {"index":{"_index":"lagou","_type":"job2","_id":"3"}} {"title":"python django 開發工程師","salary_min":30000,"city":"上海","company":{"name":"美團科技","company_addr":"北京市軟體園A區"},"publish_date":"2019-06-15","comments":120} POST _bulk {"create":{"_index":"lagou","_type":"job1","_id":"3"}} {"title":"python django 開發工程師","salary_min":30000,"city":"上海","company":{"name":"美團科技","company_addr":"北京市軟體園A區"},"publish_date":"2019-06-15","comments":120} POST _bulk {"delete":{"_index":"lagou","_type":"job1","_id":"3"}} POST _bulk {"update":{"_index":"lagou","_type":"job1","_id":"3"}} {"doc":{"title":"python django 開發工程師","salary_min":30000,"city":"上海","company":{"name":"美團科技","company_addr":"北京市軟體園A區"},"publish_date":"2019-06-15","comments":120}}

三、mapping對映和查詢

1. mapping對映

2.倒排索引

3. 倒排索引待解決的問題

4. 查詢

5. 操作

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 # mapping操作 PUT lagou1 { "mappings":{ "job":{ "properties":{ "title":{ "type":"text" }, "salary_min":{ "type":"integer" }, "city":{ "type":"keyword" }, "company":{ "properties":{ "name":{ "type":"text" }, "company_addr":{ "type":"text" }, "employee_count":{ "type":"integer" } } }, "publish_date":{ "type":"date", "format":"yyyy-MM-dd" }, "comments":{ "type":"integer" } } } } } PUT lagou1/job/1 { "title":"python爬蟲分散式開發", "salary_min":15000, "city":"北京", "company":{ "name":"百度", "company_addr":"北京市軟體園", "employee_count":50 }, "publish_date":"2019-06-15", "comments":15 } # get index mapping GET lagou1/_mapping GET lagou1/_mapping/job GET _all/_mapping/job # 查詢 PUT lagou2 { "mappings": { "job":{ "properties":{ "title":{ "type":"text", "store":true, "analyzer":"ik_max_word" }, "company_name": { "type":"keyword", "store":true }, "desc":{ "type":"text" }, "add_time":{ "type":"date", "format":"yyyy-MM-dd" }, "comments":{ "type":"integer" } } } } } POST lagou2/job { "title":"python django 開發工程師", "company_name":"美國科技有限公司", "desc":"對django的概念熟悉，熟悉python基礎知識", "comments":20, "add_time":"2017-04-01" } POST lagou2/job { "title":"python scrapy redis 分散式爬蟲基本", "company_name":"百度科技有限公司", "desc":"對scrapy的概念熟悉，熟悉redis的基本操作", "comments":5, "add_time":"2017-04-15" } POST lagou2/job { "title":"Elasticsearch打造搜尋引擎", "company_name":"阿里巴巴科技有限公司", "desc":"熟悉資料結構演算法，熟悉python的基本開發", "comments":15, "add_time":"2017-06-20" } POST lagou2/job { "title":"python打造推薦引擎系統", "company_name":"阿里巴巴科技有限公司", "desc":"熟悉推薦引擎的原理以及演算法、掌握C語言", "comments":60, "add_time":"2016-10-20" } # 簡單查詢 #檢視分析器解析的結果 GET _analyze { "analyzer":"ik_smart", "text":"Python網路開發師" } GET _analyze { "analyzer":"ik_max_word", "text":"Python網路開發師" } #match查詢 （分詞查詢） python 和分散式 #查詢第0-2條的title和company_name欄位（desc欄位的stored屬性不是true），並按comments排序 GET lagou2/_search { "stored_fields":["title","company_name","desc"], "query":{ "match":{ "title":"python分散式" } }, "from":0, "size":2, "sort": [ { "comments": { "order":"desc" } } ] } #查詢comments在大於等於10、小於等於20、權重2.0的資料 GET lagou2/_search { "query":{ "range": { "comments": { "gte":10, "lte":20, "boost":2.0 } } } } GET lagou2/_search { "query":{ "range": { "add_time": { "gte":"2017-04-01", "lte":"now" } } } } #term查詢（不會做處理、直接查，類似於keyword屬性） GET lagou2/_search { "query":{ "term":{ "title":"python" } } } #terms 和用match查django分佈工程 效果一樣 GET lagou2/_search { "query":{ "terms":{ "title":["django","分佈","工程"] } } } #match_all GET lagou2/_search { "query":{ "match_all":{} } } #match_phrase #短語查詢 #滿足所有詞 既有python也有系統，倆個詞最小間距6位 GET lagou2/_search { "query":{ "match_phrase": { "title": { "query":"python系統", "slop":6 } } } } #multi_match 多欄位匹配,title的權重高於desc的3倍 GET lagou2/_search { "query":{ "multi_match": { "query":"python系統", "fields":["title^3","desc"] } } } # sort查詢 GET lagou2/_search { "query": { "match_all": {} }, "sort": [ { "comments": { "order":"asc" } } ] } # range範圍查詢 GET lagou2/_search { "query": { "range": { "comments": { "gte":20, "lte":60, "boost":2.0 } } } } GET lagou2/_search { "query": { "range": { "add_time": { "gte":"2017-06-07", "lte":"now" } } } } #wildcard 萬用字元查詢 GET lagou2/_search { "query":{ "wildcard": { "title": { "value":"pyth*n", "boost":2 } } } } # 組合查詢 #bool 查詢 #用 bool 包括 must should must_not filter來完成 #格式如下 #bool：{ # "filter":[], #不參與打分 # "must":[], #相當於 (salary=20 and title=Python) # "should":[], #相當於 (salary=20 or title=Python) # "must_not":[], #相當於not #} #建立測試資料 POST lagou/testjob/_bulk {"index":{"_id":1}} {"salary":10,"title":"Python"} {"index":{"_id":2}} {"salary":20,"title":"Scrapy"} {"index":{"_id":3}} {"salary":30,"title":"Django"} {"index":{"_id":4}} {"salary":30,"title":"Elasticsearch"} DELETE lagou/testjob #簡單的過濾查詢 #最簡單的fileter查詢 #select * from testjob where salary=20 GET lagou/testjob/_search { "query":{ "bool": { "must": { "match":{ "salary":20 } }, "filter":{ "match":{ "title":"Scrapy" } } } } } #select * from testjob #where (salary=20 or title=Python) and salary!=30 and salary!=10 GET lagou/testjob/_search { "query":{ "bool": { "should":[ {"term":{"salary":20}}, {"term":{"title":"python"}} ], "must_not": [ {"term": {"salary":"30"}}, {"term": {"salary":"10"}} ] } } } #where (salary=30 and title="django") or title="python" GET lagou/testjob/_search { "query":{ "bool": { "should":[ {"term":{"title":"python"}}, {"bool": { "must":[ {"term":{"salary":30}}, {"term":{"title":"django"}} ] }} ] } } } #測試資料 POST lagou/testjob2/_bulk {"index":{"_id":1}} {"tags":["search"]} {"index":{"_id":2}} {"tags":["search","python"]} {"index":{"_id":3}} {"other_filed":["some data"]} {"index":{"_id":4}} {"tags":null} {"index":{"_id":5}} {"tags":["search",null]} #處理null空值的方法 #select tags from testjob2 where tags is not null GET lagou/testjob2/_search { "query": { "bool": { "filter": { "exists": { "field":"tags" } } } } } #select tags from testjob2 where tags is null GET lagou/testjob2/_search { "query": { "bool": { "must_not": { "exists": { "field":"tags" } } } } }

相關推薦

Elasticsearch打造全文搜尋引擎（二）

一、Es的文件、索引的CURD操作 1. elasticsearch概念 叢集：一個或多個節點組織在一起

Elasticsearch打造全文搜尋引擎（一）

帶著問題上路——ES是如何產生的？ （1）思考：大規模資料如何檢索？ 如：當系統資料量上了10億、100億條的時候，我們在做系統架構的時候通常會從以下角度去考慮問題：1）用什麼資料庫好？(mysql、sybase、orac

ElasticSearch全文搜尋引擎（二）-Spring Boot操作ES（SpringData概述、Spring Data Elasticsearch、基本操作、ElasticSearch操作文件）

1 Spring Data概述 　　Spring Data是spring提供的一套連線各種第三方資料來源的框架集，它支援連線很多第三方資料來源，例如：

Springboot 系列 (20) - Springboot+ElasticSearch 實現全文搜尋（二）

在 “Springboot 系列 (19) - Springboot+ElasticSearch 實現全文搜尋（一）” 裡我們演示了安裝配置 ElasticSearch 和使用 curl 呼叫 ElasticSearch API，本文將演示在 Springboot 專案裡如何呼叫 ElasticSearch AP

Springboot 系列 (19) - Springboot+ElasticSearch 實現全文搜尋（一）

全文檢索（Full-text Search）是指計算機索引程式通過掃描文章中的每一個詞，對每一個詞建立一個索引，指明該詞在文章中出現的次數和位置，當用戶查詢時，檢索程式就根據事先建立的索引進行查詢，並將查詢的結果反饋

探索ElasticSearch-深入搜尋之全文搜尋（八）

前言 學習需要先打好基礎，最後才能逐步深入。今天來重新探索下ElasticSearch的全文搜尋。

ElasticSearch學習（二）——ik分詞及查詢操作

IK分詞器外掛 分詞：即把一段中文或者別的劃分成一個個的關鍵字，在搜尋時將自己的資訊進行分詞，會把資料庫中或者索引庫中的資料進行分詞，然後進行一個匹配操作，預設的中文分詞是將每個詞看成一個詞，如

java連線操作elasticsearch（二）

判斷索引是否存在 /** * 判斷索引是否存在 * * @param index *索引名，類似資料庫名 * @return

Django+xadmin打造線上教育平臺（二）

三、xadmin後臺管理 3.1.xadmin的安裝 django2.0的安裝（原始碼安裝方式）： https://github.com/sshwsfc/xadmin/tree/django2

【Elasticsearch】之基本使用（二）

技術標籤：Elasticsearch 應用筆記elasticsearchelk 全文搜尋兩個最重要的方面是：相關性（Relevance） 它是評價查詢與其結果間的相關程度，並根據這種相關程度對結果排名的一種能力，這種計算方式可以是 TF/ID

ElasticSearch簡單入門（二）

技術標籤：ElasticSearchelasticsearchjava IK分詞器 前提： 預設ES中採用標準分詞器進行分詞，但這種方式並不適用於中文網站，因此需要修改ES對中文友好分詞，從而達到更佳的搜尋的效果，IK分詞器就是一個較好的

使用 Docker 和 Nginx 打造高效能二維碼服務（二）

技術標籤：為了不折騰而去折騰的那些事dockernginxtraefikqrcode 使用 Docker 和 Nginx 打造高效能二維碼服務（二）

Flutter隨筆（二）——使用Flutter Web + Docker + Nginx打造一個簡單的Web專案

前言 　　Flutter作為一個跨平臺UI框架，功能十分強大，僅用一套程式碼便能編譯出Android、iOS、Web、windows、macOS、Windows、Linux等平臺上的應用，各平臺應用體驗高度一致，目測前途一片光明，形勢一片大好。

.Net Core中使用ElasticSearch（二）

　　.Net的ElasticSearch 有兩個版本，Elasticsearch.Net(低階)和NEST(高階)，推薦使用 NEST，低階版本的更靈活，水太深 把握不住。有個需要注意，使用的版本號必須要ElasticSearch服務端版本號一致。

elasticsearch（二）

1.es的配置檔案詳解 config/elasticsearch.yml主配置檔案 配置elasticsearch.yml 檔案 node.name: es-node-1#叢集節點名字設定

Elasticsearch詳解（二）

處理衝突： 樂觀併發控制： Elasticsearch是分散式的。當文件被建立、更新或刪除，文件的新版本會被複制到叢集的其它節點。Elasticsearch即是同步的又是非同步的，意思是這些複製請求都是平行傳送的，並無序(out of

Elasticsearch（二）進階

第五章、Elasticsearch進階 5.1 核心概念 索引Index 一個索引就是一個擁有幾分相似特徵的文件的集合。比如說，你可以有一個客戶資料的索引，另一個產品目錄的索引，還有一個訂單資料的索引。一個索引由一個名字來標識

從零開始學習Vue（二）

元件模組化 簡介 如果我們將一個頁面中所有的處理邏輯全部放在一起，處理起來就會變得非常複雜，而且不利於後續的管理以及擴充套件。但如果，我們講一個頁面拆分成一個個小的功能塊，每個功能塊完成屬於自己這部分獨

演演算法基礎篇-關於棧的演演算法題分析（二）

算法系列篇章-可以參照如下順序閱讀 演演算法基礎篇-關於連結串列的演演算法題解析

Java 多執行緒基礎（二）

簡介 在上篇 Java 多執行緒基礎（一） 我們提到了一些執行緒的常用方法，這篇我們具體看看其中一些方法的使用以及方法的區別，讓我們在工作中更好的使用。