轉載請註明出處:EFK家族—CentOS7安裝Elasticsearch6.4.3和使用

我們在上篇文章中已經瞭解了Elasticsearch
EFK家族—Elasticsearch介紹
本章我們來學習安裝和使用。

安裝

Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考這篇文章，注意要保證環境變數JAVA_HOME正確設定。
linux軟體(一)—CentOS安裝jdk

安裝完 Java，就可以跟著官方文件安裝 Elastic。
直接下載壓縮包比較簡單。

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.zip
$ unzip elasticsearch-6.4.3.zip
$ cd elasticsearch-6.4.3/
 

接著，進入解壓後的目錄，執行下面的命令，啟動 Elastic。

$ ./bin/elasticsearch
$./bin/elasticsearch -d //後端啟動

可能遇到的錯誤-max virtual memory

如果這時報錯"max virtual memory areas vm.maxmapcount [65530] is too low"，要執行下面的命令。

$ sudo sysctl -w vm.max_map_count=262144

可能遇到的錯誤-can not run elasticsearch as root

這是出於系統安全考慮設定的條件。由於ElasticSearch可以接收使用者輸入的指令碼並且執行，為了系統安全考慮，
建議建立一個單獨的使用者用來執行ElasticSearch
我們需要新增使用者。

adduser es   //新增使用者es
passwd es  //給使用者es密碼賦值

新增完使用者之後：
用root使用者執行 ：

chown -R 使用者名稱 資料夾名 
chown -R es /data/elasticsearch-6.4.3 

將這幾個壓縮包所在的資料夾及解壓完的資料夾許可權給你新建的使用者。之後再使用新使用者啟動就OK了。

su es
./bin/elasticsearch

可能遇到問題-max file descriptors

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

切換到root使用者

su root
ulimit -Hn  //檢視硬限制

解決方法

vim /etc/security/limits.conf 

新增下面設定 es是啟動elasticsearch的使用者

es soft nofile 65536
es hard nofile 65536

退出使用者重新登入，使配置生效

su es

重新

ulimit -Hn

檢視硬限制 會發現數值有4096改成65535

如果啟動一切正常，Elastic 就會在預設的9200埠執行。這時，開啟另一個命令列視窗，請求該埠，會得到說明資訊。

$ curl localhost:9200

{
  "name" : "00p5sY4",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "2MjaUbyiQrW1D9PRCCEg-Q",
  "version" : {
    "number" : "6.4.3",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "fe40335",
    "build_date" : "2018-10-30T23:17:19.084789Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

上面程式碼中，請求9200埠，Elastic 返回一個 JSON 物件，包含當前節點、叢集、版本等資訊。

按下 Ctrl + C，Elastic 就會停止執行。

預設情況下，Elastic 只允許本機訪問，如果需要遠端訪問，可以修改 Elastic 安裝目錄的config/elasticsearch.yml檔案，去掉network.host的註釋，將它的值改成0.0.0.0，然後重新啟動 Elastic。

network.host: 0.0.0.0

上面程式碼中，設成0.0.0.0讓任何人都可以訪問。線上服務不要這樣設定，要設成具體的 IP。

中文分詞設定

首先，安裝中文分詞外掛。這裡使用的是 ik，也可以考慮其他外掛（比如 smartcn）。

$ su root
$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.3/elasticsearch-analysis-ik-6.4.3.zip

上面程式碼安裝的是6.4.3版的外掛，與 Elastic 6.4.3 配合使用。

接著，重新啟動 Elastic，就會自動載入這個新安裝的外掛。

然後，新建一個 Index，指定需要分詞的欄位。這一步根據資料結構而異，下面的命令只針對本文。基本上，凡是需要搜尋的中文欄位，都要單獨設定一下。

$ curl -X PUT 'localhost:9200/accounts' -d '
{
  "mappings": {
    "person": {
      "properties": {
        "user": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "title": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "desc": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        }
      }
    }
  }
}'

執行成功返回

{"acknowledged":true,"shards_acknowledged":true,"index":"accounts"}

上面程式碼中，首先新建一個名稱為accounts的 Index，裡面有一個名稱為person的 Type。person有三個欄位。

user
title
desc

這三個欄位都是中文，而且型別都是文字（text），所以需要指定中文分詞器，不能使用預設的英文分詞器。

Elastic 的分詞器稱為 analyzer。我們對每個欄位指定分詞器。

"user": {
  "type": "text",
  "analyzer": "ik_max_word",
  "search_analyzer": "ik_max_word"
}

上面程式碼中，analyzer是欄位文字的分詞器，search_analyzer是搜尋詞的分詞器。ik_max_word分詞器是外掛ik提供的，可以對文字進行最大數量的分詞。

可能遇到的問題-application/x-www-form-urlencoded is not supported

{“error”:“Content-Type header [application/x-www-form-urlencoded] is not supported”,“status”:406}

原因
elasticsearch6.x版本需要指定明確的Content-Type，詳情參考:
官方解釋

解決方法

curl加上-H "Content-Type: application/json"引數
如下:

curl -H "Content-Type: application/json" -X PUT 'localhost:9200/accounts' -d '
{
  "mappings": {
    "person": {
      "properties": {
        "user": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "title": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "desc": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        }
      }
    }
  }
}'

使用Elasticsearch資料操作

新增記錄

向指定的 /Index/Type 傳送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向/accounts/person傳送請求，就可以新增一條人員記錄。

$ curl -H "Content-Type: application/json" -X PUT 'localhost:9200/accounts/person/1' -d '
{
  "user": "張三",
  "title": "工程師",
  "desc": "資料庫管理"
}' 

伺服器返回的 JSON 物件，會給出 Index、Type、Id、Version 等資訊。

{
"_index":"accounts",
"_type":"person",
"_id":"1",
"_version":1,
"result":"created",
"_shards":{"total":2,"successful":1,"failed":0},
"_seq_no":0,"_primary_term":1
}

如果你仔細看，會發現請求路徑是/accounts/person/1，最後的1是該條記錄的 Id。它不一定是數字，任意字串（比如abc）都可以。

新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

$ curl -H "Content-Type: application/json"  -X POST 'localhost:9200/accounts/person' -d '
{
  "user": "李四",
  "title": "工程師",
  "desc": "系統管理"
}'

上面程式碼中，向/accounts/person發出一個 POST 請求，新增一個記錄。這時，伺服器返回的 JSON 物件裡面，_id欄位就是一個隨機字串。

{
  "_index":"accounts",
  "_type":"person",
  "_id":"AV3qGfrC6jMbsbXb6k1p",
  "_version":1,
  "result":"created",
  "_shards":{"total":2,"successful":1,"failed":0},
  "created":true
}

注意，如果沒有先建立 Index（這個例子是accounts），直接執行上面的命令，Elastic 也不會報錯，而是直接生成指定的 Index。所以，打字的時候要小心，不要寫錯 Index 的名稱。

檢視記錄

向/Index/Type/Id發出 GET 請求，就可以檢視這條記錄。

$ curl 'localhost:9200/accounts/person/1?pretty=true'

上面程式碼請求檢視/accounts/person/1這條記錄，URL 的引數pretty=true表示以易讀的格式返回。

返回的資料中，found欄位表示查詢成功，_source欄位返回原始記錄。

{
  "_index" : "accounts",
  "_type" : "person",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "user" : "張三",
    "title" : "工程師",
    "desc" : "資料庫管理"
  }
}

如果 Id 不正確，就查不到資料，found欄位就是false。

$ curl 'localhost:9200/weather/beijing/abc?pretty=true'

{
  "_index" : "accounts",
  "_type" : "person",
  "_id" : "abc",
  "found" : false
}

更新記錄

更新記錄就是使用 PUT 請求，重新發送一次資料。

$ curl -H "Content-Type: application/json" -X PUT 'localhost:9200/accounts/person/1' -d '
{
    "user" : "張三",
    "title" : "工程師",
    "desc" : "資料庫管理，軟體開發"
}' 

輸出如下:

{
  "_index":"accounts",
  "_type":"person",
  "_id":"1",
  "_version":2,
  "result":"updated",
  "_shards":{"total":2,"successful":1,"failed":0},
  "created":false
}

上面程式碼中，我們將原始資料從"資料庫管理"改成"資料庫管理，軟體開發"。 返回結果裡面，有幾個欄位發生了變化。

"_version" : 2,
"result" : "updated",
"created" : false

可以看到，記錄的 Id 沒變，但是版本（version）從1變成2，操作型別（result）從created變成updated，created欄位變成false，因為這次不是新建記錄。

返回所有記錄

使用 GET 方法，直接請求/Index/Type/_search，就會返回所有記錄。

$ curl 'localhost:9200/accounts/person/_search'

{
  "took":2,
  "timed_out":false,
  "_shards":{"total":5,"successful":5,"failed":0},
  "hits":{
    "total":2,
    "max_score":1.0,
    "hits":[
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"AV3qGfrC6jMbsbXb6k1p",
        "_score":1.0,
        "_source": {
          "user": "李四",
          "title": "工程師",
          "desc": "系統管理"
        }
      },
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"1",
        "_score":1.0,
        "_source": {
          "user" : "張三",
          "title" : "工程師",
          "desc" : "資料庫管理，軟體開發"
        }
      }
    ]
  }
}

上面程式碼中，返回結果的 took欄位表示該操作的耗時（單位為毫秒），timed_out欄位表示是否超時，hits欄位表示命中的記錄，裡面子欄位的含義如下。

total：返回記錄數，本例是2條。
max_score：最高的匹配程度，本例是1.0。
hits：返回的記錄組成的陣列。
返回的記錄中，每條記錄都有一個_score欄位，表示匹配的程式，預設是按照這個欄位降序排列。

全文搜尋

Elastic 的查詢非常特別，使用自己的查詢語法，要求 GET 請求帶有資料體。

$ curl -H "Content-Type: application/json" 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "軟體" }}
}'

上面程式碼使用 Match 查詢，指定的匹配條件是desc欄位裡面包含"軟體"這個詞。返回結果如下。

{
  "took":3,
  "timed_out":false,
  "_shards":{"total":5,"successful":5,"failed":0},
  "hits":{
    "total":1,
    "max_score":0.28582606,
    "hits":[
      {
        "_index":"accounts",
        "_type":"person",
        "_id":"1",
        "_score":0.28582606,
        "_source": {
          "user" : "張三",
          "title" : "工程師",
          "desc" : "資料庫管理，軟體開發"
        }
      }
    ]
  }
}

Elastic 預設一次返回10條結果，可以通過size欄位改變這個設定。

$ curl -H "Content-Type: application/json" 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "size": 1
}'

上面程式碼指定，每次只返回一條結果。

還可以通過from欄位，指定位移。

$ curl -H "Content-Type: application/json" 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "from": 1,
  "size": 1
}'

上面程式碼指定，從位置1開始（預設是從位置0開始），只返回一條結果。

邏輯運算

如果有多個搜尋關鍵字， Elastic 認為它們是or關係。

$ curl -H "Content-Type: application/json" 'localhost:9200/accounts/person/_search'  -d '
{
  "query" : { "match" : { "desc" : "軟體 系統" }}
}'

上面程式碼搜尋的是軟體 or 系統。

如果要執行多個關鍵詞的and搜尋，必須使用布林查詢。

$ curl -H "Content-Type: application/json" 'localhost:9200/accounts/person/_search'  -d '
{
  "query": {
    "bool": {
      "must": [
        { "match": { "desc": "軟體" } },
        { "match": { "desc": "管理" } }
      ]
    }
  }
}'

刪除記錄

刪除記錄就是發出 DELETE 請求。

$ curl -X DELETE 'localhost:9200/accounts/person/1'

參考連結

ElasticSearch 官方手冊
A Practical Introduction to Elasticsearch

轉載請註明出處:EFK家族—CentOS7安裝Elasticsearch6.4.3和使用