Elasticsearch 索引管理

阿新 • • 發佈：2019-01-04

客戶端

ES 提供多種不同的客戶端：

1.TransportClient

ES提供的傳統客戶端，官方計劃8.0版本刪除此客戶端。

2.RestClient

RestClient是官方推薦使用的，它包括兩種：Java Low Level REST Client和 Java High Level REST Client。

ES在6.0之後提供 Java High Level REST Client，兩種客戶端官方更推薦使用 Java High Level REST Client，不過當前它還處於完善中，有些功能還沒有。

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest‐high‐level‐client</artifactId>
    <version>6.2.1</version>
</dependency>
<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch</artifactId>
    <version>6.2.1</version>
</dependency>

建立搜尋工程

匯入es 依賴及工具測試依賴

        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>6.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>6.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>


        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-io</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
        </dependency>

yml 配置檔案

server:
  port: 40100
spring:
  application:
    name: xc-service-search

#自定義引數
search:
  elasticsearch:
    hostlist: ${eshostlist:127.0.0.1:9200} #多個結點中間用逗號分隔

配置類

我在配置類裡配置了倆個客戶端,分別是 RestHighLevelClient,RestClient

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class ElasticSearchConfig {

    @Value("${search.elasticsearch.hostlist}")
    private String  hostlist;


//    客戶端    resthighlevelclient  配置
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        String[] hostStrs = hostlist.split(",");
        HttpHost[] httpHostArray = new HttpHost[hostStrs.length];

//        指標
        int i = 0;

        for (String hostStr : hostStrs) {

//            切割  埠       127.0.0.1:9200
            String[] split = hostStr.split(":");   // split[0]      ip     // split[1]  port
            httpHostArray[i++] = new HttpHost(split[0],Integer.parseInt(split[1]) ,"http");
        }

        return new RestHighLevelClient(RestClient.builder(httpHostArray));
    }

    //客戶端  restClient配置
    @Bean
    public RestClient restClient(){
        
        String[] hostStrs = hostlist.split(",");
        HttpHost[] httpHostArray = new HttpHost[hostStrs.length];

//        指標
        int i = 0;

        for (String hostStr : hostStrs) {

//            切割  埠       127.0.0.1:9200
            String[] split = hostStr.split(":");   // split[0]      ip     // split[1]  port
            httpHostArray[i++] = new HttpHost(split[0],Integer.parseInt(split[1]) ,"http");
        }


        return RestClient.builder(httpHostArray).build();
    }
}

springboot 啟動類

@SpringBootApplication
public class SearchApplication {

    public static void main(String[] args){
        SpringApplication.run(SearchApplication.class, args);
    }
}

建立索引庫

方法一

建立索引

put http://localhost:9200/索引名稱

{
    "settings":{
        "index":{
            "number_of_shards":1,    #分片的數量
            "number_of_replicas":0    #副本數量
        }
    }
}

建立對映：

put http://localhost:9200/索引庫名稱/型別名稱/_mapping

{
    "properties": {
        "name": {
            "type": "text",
            "analyzer":"ik_max_word",
            "search_analyzer":"ik_smart"
            },
        "description": {
            "type": "text",
            "analyzer":"ik_max_word",
            "search_analyzer":"ik_smart"
            },
         "studymodel": {
            "type": "keyword"
            },
          "price": {
            "type": "float"
            },
          "timestamp": {
            "type": "date",
            "format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd||epoch_millis"
            }
     }
}

方法二

java Client

import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.client.IndicesClient;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;

@SpringBootTest(classes = SearchApplication.class)
@RunWith(SpringRunner.class)
public class TestES {

    @Resource
    RestHighLevelClient client;

    @Resource
    RestClient restClient;


    @Test
    public void fun01() throws Exception {
        //建立索引請求物件，並設定索引名稱
        CreateIndexRequest createIndexRequest = new CreateIndexRequest("test05");

        //設定索引引數
        createIndexRequest.settings(Settings.builder().put("number_of_shards",1).put("number_of_replicas",0));

        //對映
        createIndexRequest.mapping("doc","{\n" +
                "    \"properties\": {\n" +
                "        \"name\": {\n" +
                "            \"type\": \"text\",\n" +
                "            \"analyzer\":\"ik_max_word\",\n" +
                "            \"search_analyzer\":\"ik_smart\"\n" +
                "            },\n" +
                "        \"description\": {\n" +
                "            \"type\": \"text\",\n" +
                "            \"analyzer\":\"ik_max_word\",\n" +
                "            \"search_analyzer\":\"ik_smart\"\n" +
                "            },\n" +
                "         \"studymodel\": {\n" +
                "            \"type\": \"keyword\"\n" +
                "            },\n" +
                "          \"price\": {\n" +
                "            \"type\": \"float\"\n" +
                "            },\n" +
                "          \"timestamp\": {\n" +
                "            \"type\": \"date\",\n" +
                "            \"format\": \"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis\"\n" +
                "            }\n" +
                "     }\n" +
                "}", XContentType.JSON);


            //建立索引操作客戶端
        IndicesClient indices = client.indices();

        //建立響應物件
        CreateIndexResponse createIndexResponse = indices.create(createIndexRequest);

        //得到響應結果
        boolean acknowledged = createIndexResponse.isAcknowledged();

        System.out.println(acknowledged);
    }
}

刪除索引庫

import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse;
import org.elasticsearch.client.IndicesClient;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;

@SpringBootTest(classes = SearchApplication.class)
@RunWith(SpringRunner.class)
public class TestES {

    @Resource
    RestHighLevelClient client;

    @Resource
    RestClient restClient;

    @Test  //刪除索引庫
    public void delIndex() throws Exception {
        DeleteIndexRequest deleteIndexRequest = new DeleteIndexRequest("test05");//刪除索引
         DeleteIndexResponse deleteIndexResponse = client.indices().delete(deleteIndexRequest);//刪除索引響應結果
         boolean acknowledged = deleteIndexResponse.isAcknowledged();
         System.out.println(acknowledged);
    }

}

新增文件

import org.elasticsearch.action.DocWriteResponse;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.IndicesClient;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;

@SpringBootTest(classes = SearchApplication.class)
@RunWith(SpringRunner.class)
public class TestES {

    @Resource
    RestHighLevelClient client;

    @Resource
    RestClient restClient;


    @Test
    public void testAddDocument() throws Exception {

        Map<String, Object> jsonMap = new HashMap<String, Object>();

        jsonMap.put("name", "小紅帽");
        jsonMap.put("description","這是小紅帽賣火柴的勵志故事");
        jsonMap.put("studymodel","201001" );

        SimpleDateFormat dateFormat =new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        jsonMap.put("timestamp", dateFormat.format(new Date()));
        jsonMap.put("price", 5.6f);

        //索引請求物件
        IndexRequest indexRequest = new IndexRequest("test05","doc");

        //指定索引文件內容
        indexRequest.source(jsonMap);

        //索引響應物件
        IndexResponse indexResponse = client.index(indexRequest);

        DocWriteResponse.Result result = indexResponse.getResult();
        System.out.println(result);
    }
}

搜尋文件

import org.elasticsearch.action.DocWriteResponse;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.IndicesClient;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;

@SpringBootTest(classes = SearchApplication.class)
@RunWith(SpringRunner.class)
public class TestES {

    @Resource
    RestHighLevelClient client;

    @Resource
    RestClient restClient;


//    查詢文件
    @Test
    public void testFindDocument() throws IOException {
        GetRequest getRequest = new GetRequest("test05","doc", "zUGVE2gBgTQT4AAg65BL");

        GetResponse getResponse = client.get(getRequest);
        boolean exists = getResponse.isExists();

        Map<String, Object> sourceAsMap = getResponse.getSourceAsMap();
        System.out.println(sourceAsMap);
    }
}

更新文件

ES更新文件的順序是：先檢索到文件、將原來的文件標記為刪除、建立新文件、刪除舊文件，建立新文件就會重建索引。

通過請求Url有兩種方法：

1、完全替換

Post：http://localhost:9200/索引庫/type/id

  {
    
        "key1" : "value1",
        "key2" : "value2"
   }

2. 區域性替換

post: http://localhost:9200/索引庫/type/id/_update

{
    "type":{
        "key1":"value1"
    }
}

Java Client

import org.elasticsearch.action.DocWriteResponse;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.action.update.UpdateResponse;
import org.elasticsearch.client.IndicesClient;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.rest.RestStatus;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;

@SpringBootTest(classes = SearchApplication.class)
@RunWith(SpringRunner.class)
public class TestES {

    @Resource
    RestHighLevelClient client;

    @Resource
    RestClient restClient;


    @Test
    public void testUpdate() throws IOException {
        UpdateRequest updateRequest = new UpdateRequest("test05", "doc", "3");

        Map<String,Object> jsonMap = new HashMap<>();
        jsonMap.put("name", "鴨梨牌洗衣機");

        updateRequest.doc(jsonMap);

        UpdateResponse update = client.update(updateRequest);
        RestStatus status = update.status();
        System.out.println(status);
    }



}

刪除文件

根據id刪除，格式如下：

DELETE /{index}/{type}/{id}

搜尋匹配刪除，將搜尋出來的記錄刪除，格式如下：
POST /{index}/{type}/_delete_by_query

搜尋的請求體如下

{
    "query":{
        "term":{
            "name":"鴨梨牌洗衣機"
        }
    }
}

java client

import org.elasticsearch.action.DocWriteResponse;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexResponse;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.delete.DeleteResponse;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.action.update.UpdateResponse;
import org.elasticsearch.client.IndicesClient;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.rest.RestStatus;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import javax.annotation.Resource;
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;

@SpringBootTest(classes = SearchApplication.class)
@RunWith(SpringRunner.class)
public class TestES {

    @Resource
    RestHighLevelClient client;

    @Resource
    RestClient restClient;

    @Test
    public void testDelDoc() throws IOException {
        //索引請求物件
        DeleteRequest deleteRequest = new DeleteRequest("test05","doc","3");

//        刪除索引請求物件
        DeleteResponse delete = client.delete(deleteRequest);

        //獲取響應結果
        DocWriteResponse.Result result = delete.getResult();

        System.out.println(result);
    }
}

Elasticsearch 索引管理和內核探秘

區分執行每隔一秒流程禁用 tex buffer scroll 似的 1. 創建索引，修改索引，刪除索引 //創建索引 PUT /my_index { "settings": { "number_of_shards": 1, "number_of

Elasticsearch索引管理(一)——建立索引

1 建立索引建立索引API用於在Elasticsearch中手動建立索引。Elasticsearch中的所有文件都儲存於索引中。 PUT sss note：使用預設設定建立索引sss。索引命名限制索引名必須為小寫不能包括\ / * ? " &

elasticsearch索引管理

–檢視叢集健康狀況 GET /_cluster/health 修改叢集名稱和節點名稱，可以在配置檔案elasticsearch.yml中修改： cluster.name: testcluster node.name: node-1 預設配置 –檢視所有索引的分片設定情況

Elasticsearch索引管理-reindex重建索引

一個field的設定是不能被修改的，如果要修改一個field，那麼應該重新按照新的mapping，建立一個index，然後將資料批量查詢出來，重新用bulk api寫入新index中。批量查詢的時候，建議採用scroll api，並且採用多執行緒併發的方式來reindex資料，每次scroll就查詢指定日

Elasticsearch 索引管理

客戶端 ES 提供多種不同的客戶端： 1.TransportClient ES提供的傳統客戶端，官方計劃8.0版本刪除此客戶端。 2.RestClient RestClient是官方推薦使用的，它包括兩種：Java Low Level REST Client和

[Elasticsearch] 索引管理 (一)

索引管理我們已經瞭解了ES是如何在不需要任何複雜的計劃和安裝就能讓我們很容易地開始開發一個新的應用的。但是，用不了多久你就會想要仔細調整索引和搜尋過程來更好的適配你的用例。幾乎所有的定製都和索引(Index)以及其中的型別(Type)相關。本章我們就來討論用於管

[Elasticsearch] 索引管理 (五)

預設對映(Default Mapping) 一般情況下，索引中的所有型別都會有相似的欄位和設定。因此將這些常用設定在_default對映中指定會更加方便，這樣就不需要在每次建立新型別的時候都重複設定。_default對映的角色是新型別的模板。所有在_default對映之

搜尋引擎（Elasticsearch索引管理2）

開發十年，就只剩下這套架構體系了！ >>>

elasticsearch 筆記十八：索引管理

1、建立索引建立索引的語法 PUT /my_index { "settings": { ... any settings ... }, "mappings": { "type_one": { ... any mappings ... }, "

ElasticSearch最佳入門實踐（六十四）索引管理_定製化自己的dynamic mapping

1、定製dynamic策略 true：遇到陌生欄位，就進行dynamic mapping false：遇到陌生欄位，就忽略 strict：遇到陌生欄位，就報錯定製 PUT /my_index { "mappings": { "my_t

ElasticSearch最佳入門實踐（六十三）索引管理_mapping root object

1、root object 就是某個type對應的mapping json，包括了properties，metadata（_id，_source，_type），settings（analyzer），其他settings（比如include_in_all） PUT /

深入理解ElasticSearch（八）：索引管理

索引管理 1、建立一個索引到目前為止, 我們已經通過索引一篇文件建立了一個新的索引。這個索引採用的是預設的配置，新的欄位通過動態對映的方式被新增到型別對映。現在我們需要對這個建立索引的過程做更多的控制：我們想要確保這個索引有數量適中的主分片，並且在我們索引任何資料之

Elasticsearch筆記——索引管理

一、建立索引 put http://localhost:9200/<index> ,<index>是索引名,傳的JSON是這個索引的資料格式。 1、索引名不能包含任何大寫字母； 2、如果索引已存在，則丟擲索引已存在的異常； 3、elastics

乾貨 | Elasticsearch索引生命週期管理探索

引言 Elasticsearch上海Meetup中ebay工程師提了索引生命週期管理的概念。的確，在Demo級別的驗證階段我們資料量比較小，不太需要關注索引的生命週期，一個或幾個索引基本就能滿足需要。所以，這也會產生一種假象，認為：“Elasticsearch

Elasticsearch-6.x.x 索引管理

1.建立索引 PUT exchange { "acknowledged": true, "shards_acknowledged": true, "index": "test" } 注意：索引名不能包含大些字母 2.指定引數建立索引 PUT blog { "set

ElasticSearch核心基礎之索引管理

一索引管理 1.1 建立索引 # 建立索引的時候，我們可以設定主分片和備份分片的數量通過setting欄位number_of_shards和number_of_replicas欄位設定 # 對於ES

Elasticsearch 7.x：2、索引管理

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-create-index.html 2.1 索引名規範索引命名有如下限制：僅限小寫字母不能包含\、/、 *、?、

elasticsearch 索引 Warmer 管理

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-warmers.html#removing 為什麼要使用Warmer呢，這要看自己的資料和查詢等條件，但是基本上都是

【原創】《從0開始學Elasticsearch》—集群健康和索引管理

load 重啟 word-wrap 1.5 bin red .tar.gz ros 形式內容目錄 1.搭建Kibana2.集群健康3.索引操作 1.搭建Kibana 正如《Kibana 用戶手冊》中所介紹，Kibana 是一款開源的數據分析和可視化平臺，因此我們可以借助

一文帶您瞭解 Elasticsearch 中，如何進行索引管理（圖文教程）

歡迎關注筆者的公眾號: 小哈學Java, 每日推送 Java 領域乾貨文章，關注即免費無套路附送 100G 海量學習、面試資源喲！！個人網站: https://www.exception.site/essay/about-elasticsearch-index-manage 在 Elasticsea

Elasticsearch 索引管理

客戶端

建立搜尋工程

建立索引庫

方法一

方法二

新增文件

搜尋文件

更新文件

刪除文件

相關推薦