全文搜尋引擎 Elasticsearch 教程
全文搜尋屬於最常見的需求，開源的 Elasticsearch （以下簡稱 Elastic）是目前全文搜尋引擎的首選。
它可以快速地儲存、搜尋和分析海量資料。維基百科、Stack Overflow、Github 都採用它。
Elastic 的底層是開源庫 Lucene。但是，你沒法直接用 Lucene，必須自己寫程式碼去呼叫它的介面。Elastic 是 Lucene 的封裝，提供了 REST API 的操作介面，開箱即用。
本文從零開始，講解如何使用 Elastic 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。
一、安裝
Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考
安裝完 Java，就可以跟著官方文件安裝 Elastic。直接下載壓縮包比較簡單。（或者也可以使用docker安裝ElasticSearch）
| 123 | $wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip$unzipelasticsearch-5.5.1.zip$cdelasticsearch-5.5.1/ |
接著，進入解壓後的目錄，執行下面的命令，啟動 Elastic。
| 1 | $./bin/elasticsearch |
如果這時報錯“max virtual memory areas vm.maxmapcount [65530] is too low”，要執行下面的命令。
| 1 | $sudosysctl-wvm.max_map_count=262144 |
如果一切正常，Elastic 就會在預設的9200埠執行。這時，開啟另一個命令列視窗，請求該埠，會得到說明資訊。
| 1234567891011121314 | $curl localhost:9200{"name":"atntrTf","cluster_name":"elasticsearch","cluster_uuid":"tf9250XhQ6ee4h7YI11anA","version":{"number":"5.5.1","build_hash":"19c13d0","build_date":"2017-07-18T20:44:24.823Z","build_snapshot":false,"lucene_version":"6.6.0"},"tagline":"You Know, for Search"} |
上面程式碼中，請求9200埠，Elastic 返回一個 JSON 物件，包含當前節點、叢集、版本等資訊。
按下 Ctrl C，Elastic 就會停止執行。
預設情況下，Elastic 只允許本機訪問，如果需要遠端訪問，可以修改 Elastic 安裝目錄的 config/elasticsearch.yml檔案，去掉 network.host的註釋，將它的值改成 0.0.0.0，然後重新啟動 Elastic。
| 1 | network.host:0.0.0.0 |
上面程式碼中，設成 0.0.0.0讓任何人都可以訪問。線上服務不要這樣設定，要設成具體的 IP。
二、基本概念
2.1 Node 與 Cluster
Elastic 本質上是一個分散式資料庫，允許多臺伺服器協同工作，每臺伺服器可以執行多個 Elastic 例項。
單個 Elastic 例項稱為一個節點（node）。一組節點構成一個叢集（cluster）。
2.2 Index
Elastic 會索引所有欄位，經過處理後寫入一個反向索引（Inverted Index）。查詢資料的時候，直接查詢該索引。
所以，Elastic 資料管理的頂層單位就叫做 Index（索引）。它是單個數據庫的同義詞。每個 Index （即資料庫）的名字必須是小寫。
下面的命令可以檢視當前節點的所有 Index。
| 1 | $curl-XGET'http://localhost:9200/_cat/indices?v' |
2.3 Document
Index 裡面單條的記錄稱為 Document（文件）。許多條 Document 構成了一個 Index。
Document 使用 JSON 格式表示，下面是一個例子。
| 12345 | {"user":"張三","title":"工程師","desc":"資料庫管理"} |
同一個 Index 裡面的 Document，不要求有相同的結構（scheme），但是最好保持相同，這樣有利於提高搜尋效率。
2.4 Type
Document 可以分組，比如 weather這個 Index 裡面，可以按城市分組（北京和上海），也可以按氣候分組（晴天和雨天）。這種分組就叫做 Type，它是虛擬的邏輯分組，用來過濾 Document。
不同的 Type 應該有相似的結構（schema），舉例來說， id欄位不能在這個組是字串，在另一個組是數值。這是與關係型資料庫的表的一個區別。性質完全不同的資料（比如 products和 logs）應該存成兩個 Index，而不是一個 Index 裡面的兩個 Type（雖然可以做到）。
下面的命令可以列出每個 Index 所包含的 Type。
| 1 | $curl'localhost:9200/_mapping?pretty=true' |
根據規劃，Elastic 6.x 版只允許每個 Index 包含一個 Type，7.x 版將會徹底移除 Type。
三、新建和刪除 Index
新建 Index，可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是新建一個名叫 weather的 Index。
| 1 | $curl-XPUT'localhost:9200/weather' |
伺服器返回一個 JSON 物件，裡面的 acknowledged欄位表示操作成功。
| 1234 | {"acknowledged":true,"shards_acknowledged":true} |
然後，我們發出 DELETE 請求，刪除這個 Index。
| 1 | $curl-XDELETE'localhost:9200/weather' |
四、中文分詞設定
首先，安裝中文分詞外掛。這裡使用的是 ik，也可以考慮其他外掛（比如 smartcn）。
| 1 | $./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip |
上面程式碼安裝的是5.5.1版的外掛，與 Elastic 5.5.1 配合使用。
接著，重新啟動 Elastic，就會自動載入這個新安裝的外掛。
然後，新建一個 Index，指定需要分詞的欄位。這一步根據資料結構而異，下面的命令只針對本文。基本上，凡是需要搜尋的中文欄位，都要單獨設定一下。
| 123456789101112131415161718192021222324 | $curl-XPUT'localhost:9200/accounts'-d'{"mappings":{"person":{"properties":{"user":{"type":"text","analyzer":"ik_max_word","search_analyzer":"ik_max_word"},"title":{"type":"text","analyzer":"ik_max_word","search_analyzer":"ik_max_word"},"desc":{"type":"text","analyzer":"ik_max_word","search_analyzer":"ik_max_word"}}}}}' |
上面程式碼中，首先新建一個名稱為 accounts的 Index，裡面有一個名稱為 person的 Type。 person有三個欄位。
- user
- title
- desc
這三個欄位都是中文，而且型別都是文字（text），所以需要指定中文分詞器，不能使用預設的英文分詞器。
Elastic 的分詞器稱為 analyzer。我們對每個欄位指定分詞器。
| 12345 | "user":{"type":"text","analyzer":"ik_max_word","search_analyzer":"ik_max_word"} |
上面程式碼中， analyzer是欄位文字的分詞器， search_analyzer是搜尋詞的分詞器。 ik_max_word分詞器是外掛 ik提供的，可以對文字進行最大數量的分詞。
五、資料操作
5.1 新增記錄
向指定的 /Index/Type 傳送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向 /accounts/person傳送請求，就可以新增一條人員記錄。
| 123456 | $curl-XPUT'localhost:9200/accounts/person/1'-d'{"user":"張三","title":"工程師","desc":"資料庫管理"}' |
伺服器返回的 JSON 物件，會給出 Index、Type、Id、Version 等資訊。
| 123456789 | {"_index":"accounts","_type":"person","_id":"1","_version":1,"result":"created","_shards":{"total":2,"successful":1,"failed":0},"created":true} |
如果你仔細看，會發現請求路徑是 /accounts/person/1，最後的 1是該條記錄的 Id。它不一定是數字，任意字串（比如 abc）都可以。
新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。
| 123456 | $curl-XPOST'localhost:9200/accounts/person'-d'{"user":"李四","title":"工程師","desc":"系統管理"}' |
上面程式碼中，向 /accounts/person發出一個 POST 請求，新增一個記錄。這時，伺服器返回的 JSON 物件裡面， _id欄位就是一個隨機字串。