ElasticSearch叢集搭建

本文采用ElasticSearch5.6.9版本，採用3臺機器安裝，分別為server01，server02，server03。機器的系統是CentOS6.9版本

ElasticSearch叢集是採用leader選舉機制來產生master

1.下載並解壓

1.1 官網下載地址：

1.2 上傳到server01機器

scp elasticsearch-5.6.9.tar.gz [email protected]:/hadoop

1.3 解壓

tar -zxvf elasticsearch-5.6.9.tar.gz

1.4 重新命名

mv elasticsearch-5.6.9 elasticsearch

2.修改配置檔案並啟動

進入elasticsearch/config目錄

2.1 修改elasticsearch.yml配置檔案

#叢集名稱，通過組播的方式通訊，通過名稱判斷屬於哪個叢集
cluster.name: es-cluster

#節點名稱，要唯一
node.name: es1

#資料存放位置
path.data: /hadoop/elasticsearch/data

#日誌存放位置
path.logs: /hadoop/elasticsearch/logs

# centos6.x需要新增，不然會導致啟動錯誤
 

bootstrap.system_call_filter: false

#es繫結的ip地址
network.host: server01

# http訪問的埠
http:port: 9200

#初始化時可進行選舉的節點
discovery.zen.ping.unicast.hosts: ["server01", "server02", "server03"]

2.2 修改jvm.options檔案（可選）

vim config/jvm.options

# 將虛擬機器記憶體預設的2g改為512m
# -Xms2g  
# -Xmx2g  
# 修改為  

-Xms512m  
-Xmx512m 
 

如果機器的記憶體比較小，設定為2g會導致如下錯誤

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error=’Cannot allocate memory’ (errno=12)

2.3 分發到server02，server03機器上

scp -r /hadoop/elasticsearch hadoop@server02:/hadoop

scp -r /hadoop/elasticsearch hadoop@server03:/hadoop

修改server02機器上的elasticsearch.yml配置檔案

node.name: es2

network.host: server02

修改server03機器上的elasticsearch.yml配置檔案

node.name: es3

network.host: server03

2.4 設定環境變數

在server01，server02，server03機器上分別設定環境變數

sudo vim /etc/profile

export ES_HOME=/hadoop/elasticsearch
export PATH=$PATH:$ES_HOME/bin

使環境變數生效

source /etc/profile

2.5 啟動elasticsearch叢集

elasticsearch

# 後臺啟動
# elasticsearch -d

3.啟動異常的問題

3.1 max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

解決方案：

切換到root使用者下，編輯/etc/security/limits.conf檔案

vim /etc/security/limits.conf

編輯內容如下：

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

3.2 max number of threads [1024] for user [hadoop] is too low, increase to at least [2048]

解決方案：

在root使用者下

vim /etc/security/limits.d/90-nproc.conf

修改如下內容：

# 將
# * soft nproc 1024
# 修改為

* soft nproc 2048

3.3 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解決方案：

在root使用者下

編輯vim /etc/sysctl.conf檔案

新增下面配置：
vm.max_map_count=655360


並執行命令：
sysctl -p

3.4 system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

這是在因為Centos6不支援SecComp，而ES5.2.0預設bootstrap.system_call_filter為true進行檢測，所以導致檢測失敗，失敗後直接導致ES不能啟動。

解決方案：

在elasticsearch.yml中配置bootstrap.system_call_filter為false

bootstrap.system_call_filter: false

3.5 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error=’Cannot allocate memory’ (errno=12)

這個問題表示jvm的記憶體不足

解決方案：

vim config/jvm.options

# 將jvm記憶體引數2g改為512m
# -Xms2g  
# -Xmx2g  
# 修改為  

-Xms512m  
-Xmx512m