Elastic Search
- Docker中安裝ElasticSearch
- Elastic Search API得使用
  - 建立Index:
  - 修改Index Mapping:
  - 修改Index Settings:
  - 建立Index模板:
  - 單條件查詢: [query->term]
  - 多條件查詢: [query->bool->must->term]
  - 對查詢結果進行摺疊去重一個欄位: [collapse]
  - 對查詢結果進行摺疊去重兩個欄位: [collapse->inner_hits->collapse]
  - 對查詢結果進行聚合實現Group BY: [aggerations]
  - 對查詢結果進行聚合最大值/最小值: [aggs->min/max]
  - 對查詢結果進行聚合時，需要使用其他資料: [aggs->top_hits]
  - 在查詢Payload中寫邏輯運算: [script]
  - 在更新Payload中寫邏輯運算: [script]
  - 依據查詢條件進行更新
  - 依據查詢條件進行刪除
  - 簡單得分頁查詢：[from size]
  - 複雜得分頁查詢：[scroll]
  - 多條插入資料：[_bulk]
  - 重新索引：[reindex]
  - 檢視所有index：[_cat/indices/]
  - 設定Cluster：[_cluster]
  - 刪除所有生成的Scroll
  - 已知文件Id情況下存在更新，不存在插入資料[update]
- 提高 ES效率

Elastic Search

Docker中安裝ElasticSearch

需要Java環境

下載tar.gz並解壓,並移動

mv elasticsearch-7.1.0 /usr/local/elasticsearch

修改配置

vi /usr/local/elasticsearch/config/elasticsearch.yml

yml檔案

network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1", "[::1]"]
# 7.1 版本即便不是多節點也需要配置一個單節點，否則
#the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
cluster.initial_master_nodes: ["node-1"]
# 配置indices fielddata得記憶體，超過80%就會釋放
indices.fielddata.cache.size: 80%
# request數量使用記憶體限制，預設為JVM堆的40%。
indices.breaker.request.limit: 80%

建立一個非root使用者elsearch來執行elasticsearch指令碼。ES不能用root使用者啟動

# elasticsearch can not run elasticsearch as root
adduser elsearch # 會自動建組 test
# 將資料夾以及子資料夾全部該為test使用者
chown -R elsearch:elsearch elasticsearch
ll
# drwxr-xr-x 1 elsearch elsearch 4096 May 28 16:54 elasticsearch

7.X新特性

removal mapping types官方：https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html

目前版本有一個預設的type _doc，使用api對文件操作的時候，也不需要在url上加入 type了，直接index即可，具體的api可以大部分都可以通過在url去掉type進行操作。

not_analyzed不存在了，如果需要不拆分

可以對index進行analyzer設定，將預設的analyzer設定成keyword就不會拆分了。
----------------------------------------------------------------
設定analyzer：需要先關閉index
1. POST http://server_ip/index_name/_close?pretty
2. PUT ： http://server_ip/index_name/_settings?pretty
    BODY:
    {
        "index":{
            "analysis" : {
                "analyzer" : {
                    "default" : {
                        "type" : "keyword"
                    }
                }
            }
        }
    }
3. POST http://server_ip/index_name/_open?pretty

沒有string這個 column type了。可以換成text或者keyword
在查詢中，新增{"track_total_hits":true}，可以查詢出total得總數。不會被限制成10000

Elastic Search API得使用

介紹本次BGP專案中使用到得API得使用方法以及某些特定Payload得寫法

注：沒有使用順序，每個payload不是唯一得寫法。

建立Index:

PUT your_server_ip:9200/index_name

Payload

{
  "settings": {
    "number_of_shards": 5,
    "analysis": {
                    "analyzer": {
                        "default": {
                            "type": "keyword"
                        }
                    }
                },
    "refresh_interval": "30s",
    "max_result_window" : "1000000",
    "max_rescore_window": "1000000"
  },
  "mappings": {
      "properties": {
        "test": {
          "type": "keyword"
        }
    }
}

說明

settings設定index，mappings設定index得column
number_of_shards：分片數量，
analysis：此處是為了不適用分詞，這個是7.x版本新的設定方式
refresh_interval：設定重新整理時間，為了最大化_bulk得效率，最好設定30s左右
max_result_window：ES預設只能查詢10000條資料，使用scroll API可以查詢到max_result_window得數量得資料
max_rescore_window：rescore API使用，本次沒有使用到

修改Index Mapping:

PUT/POST your_server_ip:9200/index_name/_mappings

Payload

{
    "properties": {
        "test": {
        "type": "keyword"
    }
}

說明

可以新增column
有一些欄位型別得更改是不被允許得，只能使用_reindexAPI
直接在Payload中傳入properties即可

修改Index Settings:

PUT/POST your_server_ip:9200/index_name/_settings

Payload

{
    "index":{
        "analysis" : {
            "analyzer" : {
                "default" : {
                    "type" : "keyword"
                }
            }
        },
        "refresh_interval": "30s",
        "max_result_window" : "1000000",
        "max_rescore_window": "1000000"
    }
}

說明

可以一次性設定多個index，url中 index_name= index1,index2,index3
某些更改設定，必須使用_closeAPI關閉index，比如analysis

建立Index模板:

PUT your_server_ip:9200/_template/template_name

Payload

{
  "index_patterns": ["test*"],
  "settings": {
    "number_of_shards": 1,
    "analysis": {
                    "analyzer": {
                        "default": {
                            "type": "keyword"
                        }
                    }
                },
    "refresh_interval": "30s",
    "max_result_window" : "1000000",
    "max_rescore_window": "1000000"
  },
  
  "mappings": {
      "properties": {
        "state": {
          "type": "keyword"
        }
      }
    }
}

說明

index_patterns表示以 test開頭得index都擁有如下得setting與mapping
模板得意義在於，我們基於時間建立index時，不需要每次都新增index得setting和mapping