2. 程式人生 > 其它 >ES 內熱節點部署三

ES 內熱節點部署三

阿新 • • 發佈：2021-07-20

目錄

▪ 用途 ▪ 架構 ▪ 192.168.1.51 elasticsearch-data部署雙例項 ▪ 192.168.1.52 elasticsearch-data部署雙例項 ▪ 192.168.1.53 elasticsearch-data部署雙例項 ▪ 測試

用途

前情提要：

▷ 在第一篇《EFK教程 - 快速入門指南》中，闡述了EFK的安裝部署，其中ES的架構為三節點，即master、ingest、data角色同時部署在三臺伺服器上。 ▷ 在第二篇《EFK教程 - ElasticSearch高效能高可用架構》中，闡述了EFK的data/ingest/master角色的用途及分別部署三節點，在實現效能最大化的同時保障高可用

前兩篇文章，ES叢集中只存在一個例項，而在本文中，將在一個叢集中部署多個ES例項，來實現資源合理分配。例如data伺服器存在SSD與SAS硬碟，可以將熱資料存放到SSD，而冷資料存放到SAS，實現資料冷熱分離。

在本文中，將為data伺服器建立2個例項，分別基於SSD和基於SAS硬碟，將nginx的9月份索引放在SAS盤上，其它的全放在SSD盤上

架構

架構圖

伺服器配置

192.168.1.51 elasticsearch-data部署雙例項

索引遷移（此步不能忽略）：將192.168.1.51上的索引放到其它2臺data節點上

  1. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

  2. {

  3. "index.routing.allocation.include._ip": "192.168.1.52,192.168.1.53"

  4. }'

確認當前索引儲存位置：確認所有索引不在192.168.1.51節點上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.51的程序，修改目錄結構及配置：請自行按SSD和SAS硬碟掛載好資料盤

  1. # 安裝包下載和部署請參考第一篇《EFK教程 - 快速入門指南》

  2. cd /opt/software/

  3. tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

  4. mv /opt/elasticsearch /opt/elasticsearch-SAS

  5. mv elasticsearch-7.3.2 /opt/

  6. mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD

  7. chown elasticsearch.elasticsearch /opt/elasticsearch-* -R

  8. rm -rf /data/SAS/*

  9. chown elasticsearch.elasticsearch /data/* -R

  10. mkdir -p /opt/logs/elasticsearch-SAS

  11. mkdir -p /opt/logs/elasticsearch-SSD

  12. chown elasticsearch.elasticsearch /opt/logs/* -R

SAS例項/opt/elasticsearch-SAS/config/elasticsearch.yml配置

  1. cluster.name: my-application

  2. node.name: 192.168.1.51-SAS

  3. path.data: /data/SAS

  4. path.logs: /opt/logs/elasticsearch-SAS

  5. network.host: 192.168.1.51

  7. http.port: 9200

  8. transport.port: 9300

  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要帶上埠號，不然會走http.port和transport.port埠

  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  12. http.cors.enabled: true

  13. http.cors.allow-origin: "*"

  15. node.master: false

  16. node.ingest: false

  17. node.data: true

  19. # 本機只允行啟2個例項

  20. node.max_local_storage_nodes: 2

SSD例項/opt/elasticsearch-SSD/config/elasticsearch.yml配置

  1. cluster.name: my-application

  2. node.name: 192.168.1.51-SSD

  3. path.data: /data/SSD

  4. path.logs: /opt/logs/elasticsearch-SSD

  5. network.host: 192.168.1.51

  7. http.port: 9201

  8. transport.port: 9301

  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要帶上埠號，不然會走http.port和transport.port埠

  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  12. http.cors.enabled: true

  13. http.cors.allow-origin: "*"

  15. node.master: false

  16. node.ingest: false

  17. node.data: true

  19. # 本機只允行啟2個例項

  20. node.max_local_storage_nodes: 2

SAS例項和SSD例項啟動方式

  1. sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch

  2. sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

確認SAS和SSD已啟2例項

  1. curl "http://192.168.1.31:9200/_cat/nodes?v"

192.168.1.52 elasticsearch-data部署雙例項

索引遷移（此步不能忽略）：將192.168.1.52上的索引放到其它2臺data節點上

  1. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

  2. {

  3. "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.53"

  4. }'

確認當前索引儲存位置：確認所有索引不在192.168.1.52節點上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.52的程序，修改目錄結構及配置：請自行按SSD和SAS硬碟掛載好資料盤

  1. # 安裝包下載和部署請參考第一篇《EFK教程 - 快速入門指南》

  2. cd /opt/software/

  3. tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

  4. mv /opt/elasticsearch /opt/elasticsearch-SAS

  5. mv elasticsearch-7.3.2 /opt/

  6. mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD

  7. chown elasticsearch.elasticsearch /opt/elasticsearch-* -R

  8. rm -rf /data/SAS/*

  9. chown elasticsearch.elasticsearch /data/* -R

  10. mkdir -p /opt/logs/elasticsearch-SAS

  11. mkdir -p /opt/logs/elasticsearch-SSD

  12. chown elasticsearch.elasticsearch /opt/logs/* -R

SAS例項/opt/elasticsearch-SAS/config/elasticsearch.yml配置

  1. cluster.name: my-application

  2. node.name: 192.168.1.52-SAS

  3. path.data: /data/SAS

  4. path.logs: /opt/logs/elasticsearch-SAS

  5. network.host: 192.168.1.52

  7. http.port: 9200

  8. transport.port: 9300

  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要帶上埠號，不然會走http.port和transport.port埠

  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  12. http.cors.enabled: true

  13. http.cors.allow-origin: "*"

  15. node.master: false

  16. node.ingest: false

  17. node.data: true

  19. # 本機只允行啟2個例項

  20. node.max_local_storage_nodes: 2

SSD例項/opt/elasticsearch-SSD/config/elasticsearch.yml配置

  1. cluster.name: my-application

  2. node.name: 192.168.1.52-SSD

  3. path.data: /data/SSD

  4. path.logs: /opt/logs/elasticsearch-SSD

  5. network.host: 192.168.1.52

  7. http.port: 9201

  8. transport.port: 9301

  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要帶上埠號，不然會走http.port和transport.port埠

  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  12. http.cors.enabled: true

  13. http.cors.allow-origin: "*"

  15. node.master: false

  16. node.ingest: false

  17. node.data: true

  19. # 本機只允行啟2個例項

  20. node.max_local_storage_nodes: 2

SAS例項和SSD例項啟動方式

  1. sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch

  2. sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

確認SAS和SSD已啟2例項

  1. curl "http://192.168.1.31:9200/_cat/nodes?v"

192.168.1.53 elasticsearch-data部署雙例項

索引遷移（此步不能忽略）：一定要做這步，將192.168.1.53上的索引放到其它2臺data節點上

  1. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

  2. {

  3. "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52"

  4. }'

確認當前索引儲存位置：確認所有索引不在192.168.1.52節點上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.53的程序，修改目錄結構及配置：請自行按SSD和SAS硬碟掛載好資料盤

  1. # 安裝包下載和部署請參考第一篇《EFK教程 - 快速入門指南》

  2. cd /opt/software/

  3. tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

  4. mv /opt/elasticsearch /opt/elasticsearch-SAS

  5. mv elasticsearch-7.3.2 /opt/

  6. mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD

  7. chown elasticsearch.elasticsearch /opt/elasticsearch-* -R

  8. rm -rf /data/SAS/*

  9. chown elasticsearch.elasticsearch /data/* -R

  10. mkdir -p /opt/logs/elasticsearch-SAS

  11. mkdir -p /opt/logs/elasticsearch-SSD

  12. chown elasticsearch.elasticsearch /opt/logs/* -R

SAS例項/opt/elasticsearch-SAS/config/elasticsearch.yml配置

  1. cluster.name: my-application

  2. node.name: 192.168.1.53-SAS

  3. path.data: /data/SAS

  4. path.logs: /opt/logs/elasticsearch-SAS

  5. network.host: 192.168.1.53

  7. http.port: 9200

  8. transport.port: 9300

  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要帶上埠號，不然會走http.port和transport.port埠

  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  12. http.cors.enabled: true

  13. http.cors.allow-origin: "*"

  15. node.master: false

  16. node.ingest: false

  17. node.data: true

  19. # 本機只允行啟2個例項

  20. node.max_local_storage_nodes: 2

SSD例項/opt/elasticsearch-SSD/config/elasticsearch.yml配置

  1. cluster.name: my-application

  2. node.name: 192.168.1.53-SSD

  3. path.data: /data/SSD

  4. path.logs: /opt/logs/elasticsearch-SSD

  5. network.host: 192.168.1.53

  7. http.port: 9201

  8. transport.port: 9301

  9. # discovery.seed_hosts和cluster.initial_master_nodes 一定要帶上埠號，不然會走http.port和transport.port埠

  10. discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  11. cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

  12. http.cors.enabled: true

  13. http.cors.allow-origin: "*"

  15. node.master: false

  16. node.ingest: false

  17. node.data: true

  19. # 本機只允行啟2個例項

  20. node.max_local_storage_nodes: 2

SAS例項和SSD例項啟動方式

  1. sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch

  2. sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

確認SAS和SSD已啟2例項

  1. curl "http://192.168.1.31:9200/_cat/nodes?v"

測試

將所有索引移到SSD硬碟上

  1. # 下面的引數會在後面的文章講解，此處照抄即可

  2. curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

  3. {

  4. "index.routing.allocation.include._host_ip": "",

  5. "index.routing.allocation.include._host": "",

  6. "index.routing.allocation.include._name": "",

  7. "index.routing.allocation.include._ip": "",

  8. "index.routing.allocation.require._name": "*-SSD"

  9. }'

確認所有索引全在SSD硬碟上

  1. curl "http://192.168.1.31:9200/_cat/shards?h=n"

將nginx9月份的日誌索引遷移到SAS硬碟上

  1. curl -X PUT "192.168.1.31:9200/nginx_*_2019.09/_settings?pretty" -H 'Content-Type: application/json' -d'

  2. {

  3. "index.routing.allocation.require._name": "*-SAS"

  4. }'

確認nginx9月份的日誌索引遷移到SAS硬碟上

  1. curl "http://192.168.1.31:9200/_cat/shards"

轉載自小漫哥公眾號

螃蟹在剝我的殼，筆記本在寫我，漫天的我落在楓葉上雪花上，而你在想我。 --章懷柔

相關推薦

ES 內熱節點部署三

目錄 ▪ 用途 ▪ 架構 ▪ 192.168.1.51 elasticsearch-data部署雙例項 ▪ 192.168.1.52 elasticsearch-data部署雙例項 ▪ 192.168.1.53 elasticsearch-data部署雙例項 ▪ 測試

keepalived三節點部署文件

部署keepalived負載均衡 下載並解壓keepalived(所有節點操作): wget -P /opt/tempDatahttp://www.keepalived.org/software/keepalived-2.2.4.tar.gz

教你解除安裝Win10系統內建應用的三種方法

最新版win10系統內建了很多“應用”軟體，比如：鬧鐘、時鐘、計算器、3D畫圖、相機、郵件、日曆、地圖、電影和電視、人脈、照片、XBOX等等。平時我們都很少用到這些功能，我們只知道第三方軟體可以解除安裝，自帶的內

mongodb單節點部署

單節點部署是挺簡單的，不過有幾個地方要注意一下，不然也挺頭疼。 1、mongodb軟體包下載的正確姿勢

Fabric外部節點部署自動化指令碼

#!/bin/bash # zoujiaojiao 2020-0829 # 變數全部大寫，函式首字母大寫下劃線拼接 MASTER_FILE=$2_master.txt

Elasticsearch 在本地單機多節點部署叢集

1、下載三份es的原始碼檔案，然後解壓重新命名。 elasticsearch-7.8.1-darwin-x86_64.tar.gz=>es-node-0

CentOS7 下 Hadoop 單節點部署

準備工作 hadoop下載：(hadoop2.7.5) http://archive.apache.org/dist/hadoop/core/ 關閉防火牆：

Vue 實現點選空白處隱藏某節點（三種方式：指令、普通、遮罩）

在專案中往往會有這樣的需求： 彈出框（或Popover）在 show 後，點選空白處可以將其 hide。 針對此需求，整理了三種實現方式，大家按實際情況選擇。

SAP S4系統HANA資料庫雙機熱備和三重備份保護

今天在BASIS群裡看到，有人說管理員把資料庫刪掉，再把資料庫備份刪除掉跑路，怎麼辦？

k8s內網安裝部署（二）

續上篇 https://www.cnblogs.com/wangql/p/13397034.html 一、kubeadm安裝 1.kube-proxy開啟ipvs的前置條件

小程式內協議使用的三種方法

第一種，直接小程式內寫死協議，每次需釋出小程式版本更新 第二種，通過web-view開啟協議（協議地址需在小程式業務域名內（需在小程式開發平臺管理臺配置））

AspNetCore容器化(Docker)部署(三) —— Docker Compose容器編排

一.前言 上一篇部署了一個最基礎的helloworld應用，建立了兩個容器和一個network，還算應付得過來。

C/C++程式設計筆記：連結列表（連結串列）丨插入節點的三種方法

​在上一篇文章中，我們介紹了連結列表。我們還建立了一個具有3個節點的簡單鏈表，並討論了連結串列遍歷。

Vue 內建指令（三）

技術標籤：vue v-on和v-bind這裡我們就不說了，不知道的可以去看我之前的文章

centos7.6環境下elasticsearch7.5.0單節點部署

技術標籤：elasticsearchesdockerlinuxzookeeper 1.單節點elasticsearch的配置# cat /usr/local/elk/elasticsearch/config/elasticsearch.yml

Hadoop單節點部署

技術標籤：大資料hadoophdfs大資料單節點 前言 ​ 去年六月份已經搭過叢集模式hadoop生態HA叢集，為何如今又要編寫這篇單節點的文章？因為環境總是會變化的，叢集搭起來也是較為耗費時間，且作為一個生態是環環相

Cannal單節點部署

官網：https://codechina.csdn.net/mirrors/alibaba/canal?utm_source=csdn_github_accelerator 下載地址：https://github.com/alibaba/canal/releases

kafka單節點部署

下載kafka安裝包：http://archive.apache.org/dist/kafka/ 解壓檔案，修改kafka的config/server.properties裡面的配置

在node節點部署kubectl管理k8s叢集

感謝！原文連結：https://blog.csdn.net/sinat_35930259/article/details/79994078 kubectl是k8s的客戶端程式，也是k8s的命令列工具，kubectl提供了大量的子命令可以讓使用者和叢集進行互動。kubectl不一定部署在

逆向脫殼分析基礎學習筆記九 C語言內聯彙編和三種呼叫協定 裸函式

本文為本人在大神論壇學習逆向破解脫殼學習筆記之一，為本人對以往所學的回顧和總結，可能會有謬誤之處，歡迎大家指出。