2. 程式人生 > 實用技巧 >springboot整合elasticsearch

springboot整合elasticsearch

阿新 • • 發佈：2020-07-31

5.1.簡介

Spring Data Elasticsearch是Spring Data專案下的一個子模組。

檢視 Spring Data的官網：http://projects.spring.io/spring-data/

Spring Data的使命是為資料訪問提供熟悉且一致的基於Spring的程式設計模型，同時仍保留底層資料儲存的特殊特性。

它使得使用資料訪問技術，關係資料庫和非關係資料庫，map-reduce框架和基於雲的資料服務變得容易。這是一個總括專案，其中包含許多特定於給定資料庫的子專案。這些令人興奮的技術專案背後，是由許多公司和開發人員合作開發的。

Spring Data 的使命是給各種資料訪問提供統一的程式設計介面，不管是關係型資料庫（如MySQL），還是非關係資料庫（如Redis），或者類似Elasticsearch這樣的索引資料庫。從而簡化開發人員的程式碼，提高開發效率。

包含很多不同資料操作的模組：

Spring Data Elasticsearch的頁面：https://projects.spring.io/spring-data-elasticsearch/

特徵：

  • 支援Spring的基於@Configuration的java配置方式，或者XML配置方式
  • 提供了用於操作ES的便捷工具類ElasticsearchTemplate。包括實現文件到POJO之間的自動智慧對映。
  • 利用Spring的資料轉換服務實現的功能豐富的物件對映
  • 基於註解的元資料對映方式，而且可擴充套件以支援更多不同的資料格式
  • 根據持久層介面自動生成對應實現方法，無需人工編寫基本操作程式碼（類似mybatis，根據介面自動得到實現）。當然，也支援人工定製查詢

5.2.建立Demo工程

我們使用spring腳手架新建一個demo，學習Elasticsearch

啟動elasticsearch，輸入http://127.0.0.1:9200/ 得到叢集名稱"cluster_name" : "my-application",

pom依賴：

這裡springboot使用的2.0.7.RELEASE，在更高版本中有一些變化，es中不推薦使用ElasticsearchTemplate等等，具體以後再看吧，現在先用老版本學著。

application.yml檔案配置：

spring:

data:

elasticsearch:

cluster-name: my-application #叢集名字
 

cluster-nodes: 127.0.0.1:9300 #子節點,注意埠號是叢集的通訊埠

5.3.實體類及註解

首先我們準備好實體類：

public class Item {
Long id;
String title; //標題
String category;// 分類
String brand; // 品牌
Double price; // 價格
String images; // 圖片地址
}

對映

Spring Data通過註解來宣告欄位的對映屬性，有下面的三個註解：

  • @Document作用在類，標記實體類為文件物件，一般有四個屬性

indexName：對應索引庫名稱

type：對應在索引庫中的型別

shards：分片數量，預設5

replicas：副本數量，預設1

  • @Id作用在成員變數，標記一個欄位作為id主鍵
  • @Field作用在成員變數，標記為文件的欄位，並指定欄位對映屬性：

type：欄位型別，取值是列舉：FieldType

index：是否索引，布林型別，預設是true

store：是否儲存，布林型別，預設是false

analyzer：分詞器名稱：ikmaxword

示例：

@Document(indexName = "item",type = "docs", shards = 1, replicas = 0)

public class Item {

@Id

private Long id;



@Field(type = FieldType.Text, analyzer = "ik_max_word")

private String title; //標題



@Field(type = FieldType.Keyword)

private String category;// 分類



@Field(type = FieldType.Keyword)

private String brand; // 品牌



@Field(type = FieldType.Double)

private Double price; // 價格



@Field(index = false, type = FieldType.Keyword)

private String images; // 圖片地址

}5.4.Template索引操作

5.4.1.建立索引和對映

建立索引

1.ElasticsearchTemplate中提供了建立索引的API：createIndex 有很多過載的方法，可以根據類的資訊自動生成，也可以手動指定indexName和Settings

2.對映：putMapping

對映相關的API：可以根據類的位元組碼資訊（註解配置）來生成對映，或者手動編寫對映

我們這裡採用類的位元組碼資訊建立索引並對映：

@RunWith(SpringRunner.class)
@SpringBootTest(classes = ItcastElasticsearchApplication.class)
public class IndexTest {

@Autowired
private ElasticsearchTemplate elasticsearchTemplate;

@Test
public void testCreate(){
// 建立索引，會根據Item類的@Document註解資訊來建立
elasticsearchTemplate.createIndex(Item.class);
// 配置對映，會根據Item類中的id、Field等欄位來自動完成對映
elasticsearchTemplate.putMapping(Item.class);
}
}

結果：

GET /item
{
"item": {
"aliases": {},
"mappings": {
"docs": {
"properties": {
"brand": {
"type": "keyword"
},
"category": {
"type": "keyword"
},
"images": {
"type": "keyword",
"index": false
},
"price": {
"type": "double"
},
"title": {
"type": "text",
"analyzer": "ik_max_word"
}
}
}
},
"settings": {
"index": {
"refresh_interval": "1s",
"number_of_shards": "1",
"provided_name": "item",
"creation_date": "1525405022589",
"store": {
"type": "fs"
},
"number_of_replicas": "0",
"uuid": "4sE9SAw3Sqq1aAPz5F6OEg",
"version": {
"created": "6020499"
}
}
}
}
}5.3.2.刪除索引

刪除索引的API：可以根據類名或索引名刪除。

elasticsearchTemplate.deleteIndex(Item.class);

5.4.Repository文件操作

Spring Data 的強大之處，就在於你不用寫任何DAO處理，自動根據方法名或類的資訊進行CRUD操作。只要你定義一個介面，然後繼承Repository提供的一些子介面，就能具備各種基本的CRUD功能。

我們只需要定義介面，然後繼承它就OK了。

java public interface ItemRepository extends ElasticsearchRepository<Item,Long> { }

來看下Repository的繼承關係：

我們看到有一個ElasticsearchRepository介面：PagingAndSortingRepository
是分頁的，CrudRepository是一些基本的增刪改查。

5.4.1.新增文件

@Autowired
private ItemRepository itemRepository;

@Test
public void index() {
Item item = new Item(1L, "小米手機7", " 手機",
"小米", 3499.00, "http://image.leyou.com/13123.jpg");
itemRepository.save(item);
}

去頁面查詢看看：

GET /item/docs_search

結果：

{
"took": 14,
"timed_out": false,
"_shards": {
"total": 1,
"successful": 1,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 1,
"hits": [
{
"_index": "item",
"_type": "docs",
"_id": "1",
"_score": 1,
"_source": {
"id": 1,
"title": "小米手機7",
"category": " 手機",
"brand": "小米",
"price": 3499,
"images": "http://image.leyou.com/13123.jpg"
}
}
]
}
}

5.4.2.批量新增

@Test
public void indexList() {
List<Item> list = new ArrayList<>();
list.add(new Item(2L, "堅果手機R1", " 手機", "錘子", 3699.00, "http://image.leyou.com/123.jpg"));
list.add(new Item(3L, "華為META10", " 手機", "華為", 4499.00, "http://image.leyou.com/3.jpg"));
// 接收物件集合，實現批量新增
itemRepository.saveAll(list);
}

再次去頁面查詢：

{
"took": 5,
"timed_out": false,
"_shards": {
"total": 1,
"successful": 1,
"skipped": 0,
"failed": 0
},
"hits": {
"total": 3,
"max_score": 1,
"hits": [
{
"_index": "item",
"_type": "docs",
"_id": "2",
"_score": 1,
"_source": {
"id": 2,
"title": "堅果手機R1",
"category": " 手機",
"brand": "錘子",
"price": 3699,
"images": "http://image.leyou.com/13123.jpg"
}
},
{
"_index": "item",
"_type": "docs",
"_id": "3",
"_score": 1,
"_source": {
"id": 3,
"title": "華為META10",
"category": " 手機",
"brand": "華為",
"price": 4499,
"images": "http://image.leyou.com/13123.jpg"
}
},
{
"_index": "item",
"_type": "docs",
"_id": "1",
"_score": 1,
"_source": {
"id": 1,
"title": "小米手機7",
"category": " 手機",
"brand": "小米",
"price": 3499,
"images": "http://image.leyou.com/13123.jpg"
}
}
]
}
}

5.4.3.修改文件

修改和新增是同一個介面，區分的依據就是id，這一點跟我們在頁面發起PUT請求是類似的。

5.4.4.基本查詢

ElasticsearchRepository提供了一些基本的查詢方法：

我們來試試查詢所有：

@Test
public void testQuery(){
Optional<Item> optional = this.itemRepository.findById(1l);
System.out.println(optional.get());
}

@Test
public void testFind(){
// 查詢全部，並按照價格降序排序
Iterable<Item> items = this.itemRepository.findAll(Sort.by(Sort.Direction.DESC, "price"));
items.forEach(item-> System.out.println(item));
}

5.4.5.自定義方法

Spring Data 的另一個強大功能，是根據方法名稱自動實現功能。

比如：你的方法名叫做：findByTitle，那麼它就知道你是根據title查詢，然後自動幫你完成，無需寫實現類。

當然，方法名稱要符合一定的約定：

例如，我們來按照價格區間查詢，定義這樣的一個方法：

public interface ItemRepository extends ElasticsearchRepository<Item,Long> {

/**
* 根據價格區間查詢
* @param price1
* @param price2
* @return
*/
List<Item> findByPriceBetween(double price1, double price2);
}

然後新增一些測試資料：

@Test
public void indexList() {
List<Item> list = new ArrayList<>();
list.add(new Item(1L, "小米手機7", "手機", "小米", 3299.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(2L, "堅果手機R1", "手機", "錘子", 3699.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(3L, "華為META10", "手機", "華為", 4499.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(4L, "小米Mix2S", "手機", "小米", 4299.00, "http://image.leyou.com/13123.jpg"));
list.add(new Item(5L, "榮耀V10", "手機", "華為", 2799.00, "http://image.leyou.com/13123.jpg"));
// 接收物件集合，實現批量新增
itemRepository.saveAll(list);
}

不需要寫實現類，然後我們直接去執行：

@Test
public void queryByPriceBetween(){
List<Item> list = this.itemRepository.findByPriceBetween(2000.00, 3500.00);
for (Item item : list) {
System.out.println("item = " + item);
}
}

結果：

雖然基本查詢和自定義方法已經很強大了，但是如果是複雜查詢（模糊、萬用字元、詞條查詢等）就顯得力不從心了。此時，我們只能使用原生查詢。

5.5.高階查詢

5.5.1.基本查詢

先看看基本玩法

@Test
public void testQuery(){
// 詞條查詢
MatchQueryBuilder queryBuilder = QueryBuilders.matchQuery("title", "小米");
// 執行查詢
Iterable<Item> items = this.itemRepository.search(queryBuilder);
items.forEach(System.out::println);
}

Repository的search方法需要QueryBuilder引數，elasticSearch為我們提供了一個物件QueryBuilders：

QueryBuilders提供了大量的靜態方法，用於生成各種不同型別的查詢物件，例如：詞條、模糊、萬用字元等QueryBuilder物件。

elasticsearch提供很多可用的查詢方式，但是不夠靈活。如果想玩過濾或者聚合查詢等就很難了。

5.5.2.自定義查詢

先來看最基本的match query：

@Test
public void testNativeQuery(){
// 構建查詢條件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 新增基本的分詞查詢
queryBuilder.withQuery(QueryBuilders.matchQuery("title", "小米"));
// 執行搜尋，獲取結果
Page<Item> items = this.itemRepository.search(queryBuilder.build());
// 列印總條數
System.out.println(items.getTotalElements());
// 列印總頁數
System.out.println(items.getTotalPages());
items.forEach(System.out::println);
}

NativeSearchQueryBuilder：Spring提供的一個查詢條件構建器，幫助構建json格式的請求體

Page<item>：預設是分頁查詢，因此返回的是一個分頁的結果物件，包含屬性：

  • totalElements：總條數
  • totalPages：總頁數
  • Iterator：迭代器，本身實現了Iterator介面，因此可直接迭代得到當前頁的資料
  • 其它屬性：


5.5.4.分頁查詢

利用NativeSearchQueryBuilder可以方便的實現分頁：

@Test
public void testNativeQuery(){
// 構建查詢條件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 新增基本的分詞查詢
queryBuilder.withQuery(QueryBuilders.termQuery("category", "手機"));

// 初始化分頁引數
int page = 0;
int size = 3;
// 設定分頁引數
queryBuilder.withPageable(PageRequest.of(page, size));

// 執行搜尋，獲取結果
Page<Item> items = this.itemRepository.search(queryBuilder.build());
// 列印總條數
System.out.println(items.getTotalElements());
// 列印總頁數
System.out.println(items.getTotalPages());
// 每頁大小
System.out.println(items.getSize());
// 當前頁
System.out.println(items.getNumber());
items.forEach(System.out::println);
}


結果：

可以發現，Elasticsearch中的分頁是從第0頁開始。

5.5.5.排序

排序也通用通過NativeSearchQueryBuilder完成：

@Test
public void testSort(){
// 構建查詢條件
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 新增基本的分詞查詢
queryBuilder.withQuery(QueryBuilders.termQuery("category", "手機"));

// 排序
queryBuilder.withSort(SortBuilders.fieldSort("price").order(SortOrder.DESC));

// 執行搜尋，獲取結果
Page<Item> items = this.itemRepository.search(queryBuilder.build());
// 列印總條數
System.out.println(items.getTotalElements());
items.forEach(System.out::println);
}


結果：

5.6.聚合

5.6.1.聚合為桶

桶就是分組，比如這裡我們按照品牌brand進行分組：

@Test
public void testAgg(){
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 不查詢任何結果
queryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
// 1、新增一個新的聚合，聚合型別為terms，聚合名稱為brands，聚合欄位為brand
queryBuilder.addAggregation(
AggregationBuilders.terms("brands").field("brand"));
// 2、查詢,需要把結果強轉為AggregatedPage型別
AggregatedPage<Item> aggPage = (AggregatedPage<Item>) this.itemRepository.search(queryBuilder.build());
// 3、解析
// 3.1、從結果中取出名為brands的那個聚合，
// 因為是利用String型別欄位來進行的term聚合，所以結果要強轉為StringTerm型別
StringTerms agg = (StringTerms) aggPage.getAggregation("brands");
// 3.2、獲取桶
List<StringTerms.Bucket> buckets = agg.getBuckets();
// 3.3、遍歷
for (StringTerms.Bucket bucket : buckets) {
// 3.4、獲取桶中的key，即品牌名稱
System.out.println(bucket.getKeyAsString());
// 3.5、獲取桶中的文件數量
System.out.println(bucket.getDocCount());
}

}


顯示的結果：

關鍵API：

  • AggregationBuilders：聚合的構建工廠類。所有聚合都由這個類來構建，看看他的靜態方法：

AggregatedPage：聚合查詢的結果類。它是Page<T>的子介面：


AggregatedPage在Page功能的基礎上，拓展了與聚合相關的功能，它其實就是對聚合結果的一種封裝，大家可以對照聚合結果的JSON結構來看。

而返回的結果都是Aggregation型別物件，不過根據欄位型別不同，又有不同的子類表示

我們看下頁面的查詢的JSON結果與Java類的對照關係：

5.6.2.巢狀聚合，求平均值

程式碼：

@Test
public void testSubAgg(){
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
// 不查詢任何結果
queryBuilder.withSourceFilter(new FetchSourceFilter(new String[]{""}, null));
// 1、新增一個新的聚合，聚合型別為terms，聚合名稱為brands，聚合欄位為brand
queryBuilder.addAggregation(
AggregationBuilders.terms("brands").field("brand")
.subAggregation(AggregationBuilders.avg("priceAvg").field("price")) // 在品牌聚合桶內進行巢狀聚合，求平均值
);
// 2、查詢,需要把結果強轉為AggregatedPage型別
AggregatedPage<Item> aggPage = (AggregatedPage<Item>) this.itemRepository.search(queryBuilder.build());
// 3、解析
// 3.1、從結果中取出名為brands的那個聚合，
// 因為是利用String型別欄位來進行的term聚合，所以結果要強轉為StringTerm型別
StringTerms agg = (StringTerms) aggPage.getAggregation("brands");
// 3.2、獲取桶
List<StringTerms.Bucket> buckets = agg.getBuckets();
// 3.3、遍歷
for (StringTerms.Bucket bucket : buckets) {
// 3.4、獲取桶中的key，即品牌名稱3.5、獲取桶中的文件數量
System.out.println(bucket.getKeyAsString() + "，共" + bucket.getDocCount() + "臺");

// 3.6.獲取子聚合結果：
InternalAvg avg = (InternalAvg) bucket.getAggregations().asMap().get("priceAvg");
System.out.println("平均售價：" + avg.getValue());
}

}

結果：


相關推薦

SpringBoot整合Elasticsearch過程例項

1. 準備工作 　　需要提前安裝好Elasticsearch，訪問地址：http://127.0.0.1:9200/ 得到以下結果，得到cluster_name，下面配置使用。

springboot整合elasticsearch

5.1.簡介 Spring Data Elasticsearch是Spring Data專案下的一個子模組。 檢視 Spring Data的官網：http://projects.spring.io/spring-data/

springBoot整合Elasticsearch丟擲Factory method 'restHighLevelClient' threw exception; nested exception is java.lang.NoSuchFieldError: IGNORE_DEPRECATIONS

org.springframework.beans.factory.BeanCreationException: Error creating bean with name \'restHighLevelClient\' defined in com.example.demo.MyHighLevelEsRestDemoApplication: Bean instantiation via fac

springboot整合elasticsearch+ik分詞器+kibana

SpringBoot整合Elasticsearch+IK+Kibana ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文搜尋引擎，基於RESTful web介面。

springboot整合elasticsearch 01

建立springboot專案： pom.xml <?xml version=\"1.0\" encoding=\"UTF-8\"?> <project xmlns=\"http://maven.apache.org/POM/4.0.0\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\"

SpringBoot整合Elasticsearch遊標查詢（scroll）

遊標查詢（scroll）簡介 scroll 查詢 可以用來對 Elasticsearch 有效地執行大批量的文件查詢，而又不用付出深度分頁那種代價。

SpringBoot整合Elasticsearch遊標查詢的示例程式碼（scroll）

遊標查詢（scroll）簡介 scroll 查詢 可以用來對 Elasticsearch 有效地執行大批量的文件查詢，而又不用付出深度分頁那種代價。

springboot 整合Elasticsearch使用ElasticSearchTemplate進行增刪改查操作

ElasticSearchTemplate的使用 ElasticSearchTemplate更多是對ESRepository的補充，裡面提供了一些更底層的方法。

SpringBoot整合Elasticsearch(官方client)

技術標籤：ElasticSearchelasticsearchspringbootrestClient 本文主要講述了 Spring Boot 如何整合 ElasticSearch 搜尋引擎， 並使用 ElasticSearch 官方推薦的 Java High Level REST Client Java 客戶端操作

springboot整合elasticsearch（新版本）

技術標籤：elasticsearch 樓主使用es版本為7.6，使用的spring boot提供的start 1.pom檔案

第五章、SpringBoot整合ElasticSearch

技術標籤：SpringBoot部落格-前後端 配置環境 ElasticSearch 2.4.4 Spring Data Elasticsearch 2.1.3.RELEASE

SpringBoot整合Elasticsearch,SSL證書認證

技術標籤：框架整合javaspringelasticsearch 1.Pom檔案配置 <properties> <elasticsearch.version>6.3.1</elasticsearch.version>

Springboot整合Elasticsearch(查詢資料的方式)

參考文件地址:Elasticsearch 官方文件地址:點選連結Spring Data Elasticsearch 官方文件地址:點選連結

Springboot整合spring data elasticsearch過程詳解

版本對照 各版本的文件說明：https://docs.spring.io/spring-data/elasticsearch/docs/ 1、在application.yml中新增配置

elasticsearch增刪改查、springboot整合es

技術標籤：筆記elasticsearchmysqljava 以下為部分程式碼，部分執行介面。 我有全套課程設計資源 ，此係統功能完善。 java全部程式碼（可順利執行），資料庫資訊，課程設計報告，完整視訊演示 如有需要具體請聯絡

springboot使用rest-high-level-client整合elasticsearch 7.5.1

springboot使用rest-high-level-client整合elasticsearch 7.5.1 新增pom <!--elasticsearch--> <dependency>

springboot 整合 spring data elasticsearch 列印查詢語句

學習elasticsearch的時候，想要檢視elasticsearch傳送的DSL語句，類似MyBatis可以在idea的控制檯上輸出Mysql語句，可以新增如下配置

SpringBoot進階教程(七十三)整合elasticsearch

Elasticsearch 是一個分散式、高擴充套件、高實時的搜尋與資料分析引擎。它能很方便的使大量資料具有搜尋、分析和探索的能力。充分利用Elasticsearch的水平伸縮性，能使資料在生產環境變得更有價值。Elasticsearc

SpringBoot整合ELK實現日誌收集

為什麼要用ELK收集日誌 目前大多數專案都是採用微服務架構，在專案的初期，為了按計劃上線就沒有搭建日誌收集分析平臺，日誌都是儲存在伺服器本地，看日誌時一個個的找。隨著專案的服務越來越多，各個服務都是叢集部

SpringBoot：4.SpringBoot整合Mybatis實現資料庫訪問

在公司專案開發中，使用Mybatis居多。在 SpringBoot：3.SpringBoot使用Spring-data-jpa實現資料庫訪問 中，這種jpa風格的把sql語句和java程式碼放到一起，總感覺分離的不夠徹底。基於個人習慣，還是比較喜歡把程式碼