2. 程式人生 > 實用技巧 >.NET Core 下使用 ElasticSearch

.NET Core 下使用 ElasticSearch

阿新 • • 發佈：2020-09-16

快速入門

Elasticsearch 快速入門

ElasticSearch 是一個開源的搜尋引擎，建立在一個全文搜尋引擎庫 Apache Lucene™ 基礎之上。 Lucene 可以說是當下最先進、高效能、全功能的搜尋引擎庫，無論是開源還是私有。

但是 Lucene 僅僅只是一個庫。為了充分發揮其功能，你需要使用 Java 並將 Lucene 直接整合到應用程式中。 更糟糕的是，您可能需要獲得資訊檢索學位才能瞭解其工作原理。Lucene 非常 複雜。

ElasticSearch 也是使用 Java 編寫的，它的內部使用 Lucene 做索引與搜尋，但是它的目的是使全文檢索變得簡單， 通過隱藏 Lucene 的複雜性，取而代之的提供一套簡單一致的 RESTful API。

然而，Elasticsearch 不僅僅是 Lucene，並且也不僅僅只是一個全文搜尋引擎。 它可以被下面這樣準確的形容：

  • 一個分散式的實時文件儲存，每個欄位 可以被索引與搜尋
  • 一個分散式實時分析搜尋引擎
  • 能勝任上百個服務節點的擴充套件，並支援 PB 級別的結構化或者非結構化資料

官方客戶端在Java、.NET、PHP、Python、Ruby、Nodejs和許多其他語言中都是可用的。根據 DB-Engines 的排名顯示，ElasticSearch 是最受歡迎的企業搜尋引擎，其次是Apache Solr，也是基於Lucene。

ES 開發指南

中文文件請參考：《Elasticsearch: 權威指南》

英文文件請參考：《Elasticsearch Reference》

下載： https://www.elastic.co/cn/downloads/

ES API文件

API Conventions

Document APIs

Search APIs

Indices APIs

cat APIs

Cluster APIs

Javascript api

Logstash

Logstash Reference

Configuring Logstash

Input plugins

Output plugins

Filter plugins

Kibana DevTools 快捷鍵

  • Ctrl+i 自動縮排
  • Ctrl+Enter 提交
  • Down 開啟自動補全選單
  • Enter 或 Tab 選中項自動補全
  • Esc 關閉補全選單

pretty = true在任意的查詢字串中增加pretty引數，會讓 Elasticsearch 美化輸出(pretty-print)JSON響應以便更加容易閱讀。

Kibana 命令

// 查詢叢集的磁碟狀態
GET _cat/allocation?v

// 獲取所有索引
GET _cat/indices

// 按索引數量排序
GET _cat/indices?s=docs.count:desc
GET _cat/indices?v&s=index

// 叢集有多少節點
GET _cat/nodes

// 叢集的狀態
GET _cluster/health?pretty=true
GET _cat/indices/*?v&s=index

//獲取指定索引的分片資訊
GET logs/_search_shards

...

叢集狀態

curl -s -XGET 'http://<host>:9200/_cluster/health?pretty'

//系統正常，返回的結果
{
  "cluster_name" : "es-qwerty",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 1,
  "active_shards" : 2,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

檢索文件

POST logs/_search
{
  "query":{
    "range":{
      "createdAt":{
        "gt":"2020-04-25",
        "lt":"2020-04-27",
        "format": "yyyy-MM-dd"
      }
    }
  },
  "size":0,
  "aggs":{
    "url_type_stats":{
      "terms": {
        "field": "urlType.keyword",
        "size": 2
      }
    }
  }
}

POST logs/_search
{
  "query":{
    "range":{
      "createdAt":{
        "gte":"2020-04-26 00:00:00",
        "lte":"now",
        "format": "yyyy-MM-dd hh:mm:ss"
      }
    }
  },
  "size":0,
  "aggs":{
    "url_type_stats":{
      "terms": {
        "field": "urlType.keyword",
        "size": 2
      }
    }
  }
}

POST logs/_search
{
  "query":{
    "range": {
      "createdAt": {
        "gte": "2020-04-26 00:00:00",
        "lte": "now",
         "format": "yyyy-MM-dd hh:mm:ss"
      }
    }
  },
  "size" : 0,
  "aggs":{
    "total_clientIp":{
      "cardinality":{
        "field": "clientIp.keyword"
      }
    },
    "total_userAgent":{
      "cardinality": {
        "field": "userAgent.keyword"
      }
    }
  }
}

POST logs/_search
{
  "size" : 0,
  "aggs":{
    "date_total_ClientIp":{
      "date_histogram":{
        "field": "createdAt",
        "interval": "quarter",
        "format": "yyyy-MM-dd",
        "extended_bounds":{
          "min": "2020-04-26 13:00:00",
          "max": "2020-04-26 14:00:00",
        }
      },
      "aggs":{
        "url_type_api": {
          "terms": {
            "field": "urlType.keyword",
            "size": 10
          }
        }
      }
    }
  }
}

POST logs/_search
{
  "size" : 0,
  "aggs":{
    "total_clientIp":{
      "terms":{
        "size":30,
        "field": "clientIp.keyword"
      }
    }
  }
}

刪除文件

// 刪除
POST logs/_delete_by_query {"query":{"match_all": {}}}

// 刪除索引
DELETE logs

建立索引

資料遷移本質是索引的重建，重建索引不會嘗試設定目標索引，它不會複製源索引的設定。 所以在操作之前設定目標索引，包括設定對映，分片數，副本等。

資料遷移

Reindex from Remoteedit

// Reindex支援從遠端Elasticsearch叢集重建索引：
POST _reindex
{
  "source": {
    "remote": {
      "host": "http://lotherhost:9200",
      "username": "user",
      "password": "pass"
    },
    "index": "source",
    "query": {
      "match": {
        "test": "data"
      }
    }
  },
  "dest": {
    "index": "dest"
  }
}

// host引數必須包含scheme、host和port（例如https://lotherhost:9200）
// username和password引數可選

使用時需要在elasticsearch.yml中配置 reindex.remote.whitelist 屬性。可以設定多組（例如，lotherhost:9200, another:9200, 127.0.10.*:9200, localhost:*）。

具體使用可參考 Reindex from Remoteedit

Elasticsearch-Dump

Elasticsearch-Dump是一個elasticsearch資料匯入匯出開源工具包。安裝、遷移相關執行可以在相同可用區的雲主機上進行，使用方便。

需要node環境，npm安裝elasticdump

npm install elasticdump -g
elasticdump

// Copy an index from production to staging with analyzer and mapping:
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=analyzer
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=data

// Copy a single shard data:
elasticdump \
  --input=http://es.com:9200/api \
  --output=http://es.com:9200/api2 \
  --params='{"preference" : "_shards:0"}'

elasticdump 命令其他引數使用參考 Elasticdump Options

深度分頁

  • elasticsearch 超過10000條資料的分頁查詢會報異常，官方提供了 search_after 的方式來支援
  • search_after 要求提供上一頁兩個必須的排序標識
//https://www.elastic.co/guide/en/elasticsearch/reference/5.6/search-request-search-after.html
GET logs/_search
{
  "from":9990,
  "size":10,
  "_source": ["url","clientIp","createdAt"],
  "query":{
    "match_all": {}
  },
  "sort":[
    {
      "createdAt":{
        "order":"desc"
      }
    },
    {
      "_id":{
        "order":"desc"
      }
    }
    ]
}

GET logs/_search
{
  "from":-1,
  "size":10,
  "_source": ["url","clientIp","createdAt"],
  "query":{
    "match_all": {}
  },
  "search_after": [1588042597000, "V363vnEBz1D1HVfYBb0V"],
  "sort":[
    {
      "createdAt":{
        "order":"desc"
      }
    },
    {
      "_id":{
        "order":"desc"
      }
    }
    ]
}

安裝

  • docker下安裝Elasticsearch
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.8.1
docker run -p 9200:9200 --name elasticsearch -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.8.1

docker pull docker.elastic.co/kibana/kibana:7.8.1
docker run -p 5601:5601 --name kibana --link 14e385b1e761:elasticsearch -e "elasticsearch.hosts=http://127.0.0.1:9200" -d docker.elastic.co/kibana/kibana:7.8.1

接入使用

新建一個webapi專案，然後安裝兩個元件。

Install-Package NEST
Install-Package Swashbuckle.AspNetCore

通過NEST來實現操作Elasticsearch，開源地址：https://github.com/elastic/elasticsearch-net，同時將swagger也新增以下方便後面呼叫介面。

接下來演示一個對Elasticsearch的增刪改查操作。

新增實體類：VisitLog.cs。

using System;

namespace ESDemo.Domain
{
    public class VisitLog
    {
        public string Id { get; set; }

        /// <summary>
        /// UserAgent
        /// </summary>
        public string UserAgent { get; set; }

        /// <summary>
        /// Method
        /// </summary>
        public string Method { get; set; }

        /// <summary>
        /// Url
        /// </summary>
        public string Url { get; set; }

        /// <summary>
        /// Referrer
        /// </summary>
        public string Referrer { get; set; }

        /// <summary>
        /// IpAddress
        /// </summary>
        public string IpAddress { get; set; }

        /// <summary>
        /// Milliseconds
        /// </summary>
        public int Milliseconds { get; set; }

        /// <summary>
        /// QueryString
        /// </summary>
        public string QueryString { get; set; }

        /// <summary>
        /// Request Body
        /// </summary>
        public string RequestBody { get; set; }

        /// <summary>
        /// Cookies
        /// </summary>
        public string Cookies { get; set; }

        /// <summary>
        /// Headers
        /// </summary>
        public string Headers { get; set; }

        /// <summary>
        /// StatusCode
        /// </summary>
        public int StatusCode { get; set; }

        /// <summary>
        /// Response Body
        /// </summary>
        public string ResponseBody { get; set; }

        public DateTimeOffset CreatedAt { get; set; } = DateTimeOffset.UtcNow;
    }
}

確定好實體類後，來包裝一下Elasticsearch，簡單封裝一個基類用於倉儲的整合使用。

新增一個介面類IElasticsearchProvider。

using Nest;

namespace ESDemo.Elasticsearch
{
    public interface IElasticsearchProvider
    {
        IElasticClient GetClient();
    }
}

在ElasticsearchProvider中實現IElasticsearchProvider介面。

using Nest;
using System;

namespace ESDemo.Elasticsearch
{
    public class ElasticsearchProvider : IElasticsearchProvider
    {
        public IElasticClient GetClient()
        {
            var connectionSettings = new ConnectionSettings(new Uri("http://localhost:9200"));

            return new ElasticClient(connectionSettings);
        }
    }
}

新增Elasticsearch倉儲基類，ElasticsearchRepositoryBase。

using Nest;

namespace ESDemo.Elasticsearch
{
    public abstract class ElasticsearchRepositoryBase
    {
        private readonly IElasticsearchProvider _elasticsearchProvider;

        public ElasticsearchRepositoryBase(IElasticsearchProvider elasticsearchProvider)
        {
            _elasticsearchProvider = elasticsearchProvider;
        }

        protected IElasticClient Client => _elasticsearchProvider.GetClient();

        protected abstract string IndexName { get; }
    }
}

也就是一個抽象類，當我們整合此基類的時候需要重寫protected abstract string IndexName { get; }，指定IndexName。

完成上面簡單封裝，現在新建一個IVisitLogRepository倉儲介面，裡面新增四個方法：

using ESDemo.Domain;
using System;
using System.Collections.Generic;
using System.Threading.Tasks;

namespace ESDemo.Repositories
{
    public interface IVisitLogRepository
    {
        Task InsertAsync(VisitLog visitLog);

        Task DeleteAsync(string id);

        Task UpdateAsync(VisitLog visitLog);

        Task<Tuple<int, IList<VisitLog>>> QueryAsync(int page, int limit);
    }
}

所以接下來不用說你也知道改幹嘛，實現這個倉儲介面，新增VisitLogRepository，程式碼如下：

using ESDemo.Domain;
using ESDemo.Elasticsearch;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace ESDemo.Repositories
{
    public class VisitLogRepository : ElasticsearchRepositoryBase, IVisitLogRepository
    {
        public VisitLogRepository(IElasticsearchProvider elasticsearchProvider) : base(elasticsearchProvider)
        {
        }

        protected override string IndexName => "visitlogs";

        public async Task InsertAsync(VisitLog visitLog)
        {
            await Client.IndexAsync(visitLog, x => x.Index(IndexName));
        }

        public async Task DeleteAsync(string id)
        {
            await Client.DeleteAsync<VisitLog>(id, x => x.Index(IndexName));
        }

        public async Task UpdateAsync(VisitLog visitLog)
        {
            await Client.UpdateAsync<VisitLog>(visitLog.Id, x => x.Index(IndexName).Doc(visitLog));
        }

        public async Task<Tuple<int, IList<VisitLog>>> QueryAsync(int page, int limit)
        {
            var query = await Client.SearchAsync<VisitLog>(x => x.Index(IndexName)
                                    .From((page - 1) * limit)
                                    .Size(limit)
                                    .Sort(x => x.Descending(v => v.CreatedAt)));
            return new Tuple<int, IList<VisitLog>>(Convert.ToInt32(query.Total), query.Documents.ToList());
        }
    }
}

現在去寫介面，新增一個VisitLogControllerAPI控制器，程式碼如下：

using ESDemo.Domain;
using ESDemo.Repositories;
using Microsoft.AspNetCore.Mvc;
using System.ComponentModel.DataAnnotations;
using System.Threading.Tasks;

namespace ESDemo.Controllers
{
    [Route("api/[controller]")]
    [ApiController]
    public class VisitLogController : ControllerBase
    {
        private readonly IVisitLogRepository _visitLogRepository;

        public VisitLogController(IVisitLogRepository visitLogRepository)
        {
            _visitLogRepository = visitLogRepository;
        }

        [HttpGet]
        public async Task<IActionResult> QueryAsync(int page = 1, int limit = 10)
        {
            var result = await _visitLogRepository.QueryAsync(page, limit);

            return Ok(new
            {
                total = result.Item1,
                items = result.Item2
            });
        }

        [HttpPost]
        public async Task<IActionResult> InsertAsync([FromBody] VisitLog visitLog)
        {
            await _visitLogRepository.InsertAsync(visitLog);

            return Ok("新增成功");
        }

        [HttpDelete]
        public async Task<IActionResult> DeleteAsync([Required] string id)
        {
            await _visitLogRepository.DeleteAsync(id);

            return Ok("刪除成功");
        }

        [HttpPut]
        public async Task<IActionResult> UpdateAsync([FromBody] VisitLog visitLog)
        {
            await _visitLogRepository.UpdateAsync(visitLog);

            return Ok("修改成功");
        }
    }
}

大功告成，最後一步不要忘記在Startup.cs中新增服務，不然無法使用依賴注入。

...
services.AddSingleton<IElasticsearchProvider, ElasticsearchProvider>();
services.AddSingleton<IVisitLogRepository, VisitLogRepository>();
...

一切準備就緒，現在滿懷期待的執行專案，開啟swagger介面。

按照新增、更新、刪除、查詢的順序依次呼叫介面。新增可以多來幾次，因為預設是沒有資料的，多新增一點可以測試分頁是否ok，這裡就不再演示了。

如果你有安裝kibana，現在可以滿懷驚喜的去檢視一下剛才新增的資料。

GET _cat/indices

GET visitlogs/_search
{}

可以看到，資料已經安安靜靜的躺在這裡了。

本篇簡單介紹Elasticsearch在.NET Core中的使用，關於檢索資料還有很多語法沒有體現出來，如果在開發中需要用到，可以參考官方的各種資料查詢示例：https://github.com/elastic/elasticsearch-net/tree/master/examples

相關推薦

.NET Core 下使用 ElasticSearch

快速入門 Elasticsearch 快速入門 ElasticSearch 是一個開源的搜尋引擎，建立在一個全文搜尋引擎庫 Apache Lucene™ 基礎之上。 Lucene 可以說是當下最先進、高效能、全功能的搜尋引擎庫，無論是開源還是私有。

.NET Core下開源任務排程框架Hangfire

今天無意中發現了一個很好用的任務排程框架。Hangfire作為一款高人氣且容易上手的分散式後臺執行服務，支援多種資料庫。在 .net core的環境中，由Core自帶的DI管理著生命週期。

.NET Core 下的爬蟲利器

爬蟲大家或多或少的都應該接觸過的，爬蟲有風險，抓數需謹慎。 本著研究學習的目的，記錄一下在 .NET Core 下抓取資料的實際案例。爬蟲程式碼一般具有時效性，當我們的目標發生改版升級，規則轉換後我們寫的爬蟲程式

.NET Core 下使用 Apollo 配置中心

Apollo（阿波羅）是攜程框架部門研發的分散式配置中心，能夠集中化管理應用不同環境、不同叢集的配置，配置修改後能夠實時推送到應用端，並且具備規範的許可權、流程治理等特性，適用於微服務配置管理場景。服務端基

.NET Core 下使用 RabbitMQ

介紹 RabbitMQ是一個開源的,基於AMQP(Advanced Message Queuing Protocol)協議的完整,可複用的企業級訊息佇列(Message Queue 一種應用程式與應用程式之間的一種通訊方法)系統,RabbitMQ可以實現點對點,釋出訂閱等訊息

.NET Core下使用Kafka的方法步驟

安裝 CentOS安裝 kafka Kafka : http://kafka.apache.org/downloads ZooLeeper : https://zookeeper.apache.org/releases.html

.NET Core下使用Log4Net記錄日誌的方法步驟

Log4Net 相信大家都很熟悉了，算是比較主流和著名的日誌元件了。 官網： logging.apache.org

.NET CORE 下如何使用國產資料庫進行 開發

主流國產資料庫 隨著貿易戰的升級 ，自主研發和智慧財產權也是一個大的趨勢，達夢和人大金倉是國產資料庫中比較主流的

.NET Core下的日誌（3）：如何將日誌訊息輸出到控制檯上

當我們利用LoggerFactory建立一個Logger物件並利用它來實現日誌記錄，這個過程會產生一個日誌訊息，日誌訊息的流向取決於註冊到LoggerFactory之上的LoggerProvider。說的更加具體一點，日誌訊息的歸宿取決於註冊到Lo

.NET Core下好用的FTP框架 FluentFTP

　　專案中經常涉及到將檔案批量上傳到其它空間或伺服器，這個時候我們有可能需要用到FTP協議進行傳輸，所以這裡我推薦使用FluentFTP，一款很好用的FTP傳輸框架。

.Net Core下的USB攝像頭截圖

最近想把之前一個USB攝像頭拍照的winform程式遷移到.net 5下，首先找了一下，網上有通過DirectShow.NET讀取攝像頭的例子，Read Barcode from Webcam Viewer with DirectShow.NET。

net core下鏈路追蹤skywalking安裝和簡單使用

當我們用很多服務時，各個服務間的呼叫關係是怎麼樣的？各個服務單呼叫的順序\\時間效能怎麼樣?服務出錯了，到底是哪個服務引起的？這些問題我們用什麼方案解決呢，以前的方式是各個系統自己單獨做日誌，出了問題從暴

.Net core 下Quartz.Net + mysql 高可用模式

當下定時服務元件，相信很多大佬都很熟悉了 ，比如hangfire、quartz.net、以及xxljob，公司級別個人感覺還是xxljob最好用，開源簡單，還有叢集，故障恢復，定時準確，對比其他定時元件有很大的優勢，但總有它實現不

ASP.NET Core下FreeSql的倉儲事務

ASP.NET Core下 有DI配合 UnitOfWorkManager實現 倉儲的 事務 ASP.NET Core下FreeSql的倉儲事務

.Net Core下DllImport使用方法及擴充套件

引言 ​在有時候的開發過程中，我們會遇到需要呼叫系統的API，不巧的是.Net Core可能沒辦法為我們提供相關的呼叫方式。那需要如何才能解決這個問題呢？

net core下鏈路追蹤skywalking安裝和簡單使用教程

當我們用很多服務時，各個服務間的呼叫關係是怎麼樣的？各個服務單呼叫的順序\\時間效能怎麼樣?服務出錯了，到底是哪個服務引起的？這些問題我們用什麼方案解決呢，以前的方式是各個系統自己單獨做日誌，出了問題

.Net Core 下AutoMapper 10.0 在的使用

1:首先還是需要直接Nutget兩個包： 準備兩個資料類 public class Person { public string Name { get; set; }

.Net Core下使用Dapper的方法

目錄一、前言二、Dapper環境搭建三、Dapper封裝定義DapperDBContext類非同步分頁構建（PageAsync）定義工作單元與事務定義資料倉儲連線四、Dapper使用一、前言

關於.Net Core下因客戶端主動取消導致Request請求[FromBody]模型繫結讀取異常BadHttpRequestException 關於.Net Core3.0下因客戶端主動取消請求導致的Request.Body異常

　　最近我們的介面老是會出現BadHttpRequestException異常，但是手動檢視報錯的頁面卻一點問題沒有，很奇怪，後來仔細研究這個異常。異常原因其實根據異常物件本身就已經能分析出來了（由於第一次遇到不清楚怎麼造成

談談.NET Core下如何利用 AsyncLocal 實現共享變數

前言 在Web 應用程式中，我們經常會遇到這樣的場景，如使用者資訊，租戶資訊本次的請求過程中都是固定的，我們希望是這種資訊在本次請求內，一次賦值，到處使用。本文就來探討一下，如何在.NET Core 下去利用AsyncLo