ELK環境搭建
預備環境:
系統:CentOS Linux release7.3.1611 (Core)
JDK:jdk1.8.0_144
ES:elasticsearch-5.5.1
索引管理:cerebro-0.6.5
Logstash:logstash-5.5.1
Kibana:kibana-5.5.1
一、JAVA環境設置
# tar xf jdk-8u144-linux-x64.tar.gz-C /data/app/
# cat >> /etc/profile <<EOF
#JDK1.8
exportJAVA_HOME=/data/app/jdk1.8.0_144
exportJAVA_BIN=/data/app/jdk1.8.0_144/bin
exportPATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BINPATH CLASSPATH
EOF
# source /etc/profile
查看版本:
# java –version //ELK軟件要求JAVA最低1.8
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
默認安裝的JDK屬主屬組目錄是數字,需要手動修改成root
二、安裝Elasticsearch
描述:ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTfulweb接口。Elasticsearch是基於 JSON 的分布式搜索和分析引擎,專為實現水平擴展、高可用和管理便捷性而設計。
2.1軟件安裝
# tar xf elasticsearch-5.5.1.tar.gz
# mv /data/soft/elasticsearch-5.5.1/data/app/
# chown-R elk:elk data/
# chown -R elk:elk logs/
# chown -R elk:elkelasticsearch-5.5.1/
2.2修改配置
配置文件:elasticsearch.yml //見附錄
註:elasticsearch不允許root啟動,因此需要切換到普通用戶
測試節點:
[root@ES01 elk]# curl10.20.11.7:9200
{
"name" :"ES01",
"cluster_name" :"xxjs",
"cluster_uuid" :"KeHt6-VtQ96YiJ81ILHN6A",
"version" : {
"number" :"5.5.1",
"build_hash" :"19c13d0",
"build_date" :"2017-07-18T20:44:24.823Z",
"build_snapshot" :false,
"lucene_version" :"6.6.0"
},
"tagline" : "YouKnow, for Search"
}
端口:9200/9300
# curl -XGET‘10.20.11.7:9200/_cat/health?v&pretty‘
#查看健康狀態
# curl -XGET‘10.20.11.7:9200/_cat/nodes?v&pretty‘
#查看集群節點列表
三、安裝Logstash
描述:Logstash軟件本身也需要運行在JDK1.8(包含)以上的的環境中,Logstash 是一款強大的數據處理工具,它可以實現數據傳輸,格式處理,格式化輸出,還有強大的插件功能,常用於日誌處理。Logstash是動態數據收集管道,擁有可擴展的插件生態系統,能夠與Elasticsearch 產生強大的協同作用。
3.1軟件安裝
# tar xflogstash-5.5.1.tar.gz -C /data/app/
# cd /data/app/logstash-5.5.1/config/
# mkdir config //用於存放日誌分析配置文件
3.2修改配置
配置文件:logstash.yml //見附錄
分析配置文件: //可以使用root運行
-rw-r--r--. 1 root root 678 9月 519:41 tomcat.conf
3.3測試配置文件是否可用
# /data/app/logstash-5.5.1/bin/logstash-f tomcat.conf \
--config.test_and_exit
出現Configer OK
3.4設置後臺運行
#nohup /data/app/logstash-5.5.1/bin/logstash -f \
tomcat.conf &>/dev/null &
端口:9600
四、搭建Kibana
描述:Kibana是一個開源的分析與可視化平臺,Kibana 能夠以圖表的形式呈現數據,並且具有可擴展的用戶界面,供您全方位配置和管理Elastic Stack。Kibanak可以搜索、查看、交互存放在Elasticsearch索引裏的數據,使用各種不同的圖表、表格、地圖等kibana能夠很輕易地展示高級數據分析與可視化。
4.1軟件安裝
# tar xfkibana-5.5.1-linux-x86_64.tar.gz -C /data/app/
# chown -R elk:elk /data/app/kibana-5.5.1-linux-x86_64
4.2修改配置
配置文件:kibana.yml //見附錄
4.3設置後臺運行 //使用elk用戶登錄
# nohup /data/app/kibana-5.5.1-linux-x86_64/config/kibana.yml &>/dev/null &
4.4查看服務是否運行,端口5601
4.5運行啟動kibana
網頁訪問:http://10.20.11.11:5601
4.5-2添加索引
4.5-3創建索引-1
4.5-4創建索引-2
4.5-5發現索引
五、搭建Cerebro
描述:Cerebro是第三方ES集群管理工具,可以方便查看集群狀態;它也提供了對ES集群操作的API功能
5.1軟件安裝
# tar xf cerebro-0.6.5.tgz
該軟件解壓即可使用
5.2設置後臺運行
# nohup ./bin/cerebro &>/dev/null &
5.3訪問控制
WEB訪問:http://10.20.11.7:9000
然後在HOSTS裏輸入:http://10.20.11.7:9200
如果安裝了x-pack,需要輸入ES的用戶名和密碼
界面顯示如下:
可以查看管理ES主機(或集群)狀態,也可以查看管理索引
方便管理
到此ELK已經完成搭建!!!
配置使用見後續文章
附錄:
ES配置文件:
修改jvm.options配置設置
-Xms2g --> -Xms13g
-Xmx2g --> -Xmx13g
註:按需調整,配置物理機內存的50%,但不要超過31G。
修改elasticsearch.yml 配置
cluster.name: xxjs //集群名
node.name: ES01 //節點名
path.data: /data/app/data //data存儲路徑
path.logs: /data/app/logs //日誌路徑
network.host: 10.20.11.7 //監聽地址
http.port: 9200 //監聽端口
discovery.zen.ping.unicast.hosts: ["10.20.11.7", "10.20.11.8", "10.20.11.9", "10.20.11.10"]
//集群節點列表,也可用節點名
discovery.zen.minimum_master_nodes: 4
//集群可做master的最小節點數
修改logstash.yml配置
path.data: /var/lib/logstash
path.config: /data/soft/logstash-5.5.1
path.logs: /var/log/logstash
修改 kibana.yml配置
server.port: 5601
server.host: "10.20.11.11"
elasticsearch.url: "http://10.20.11.7:9200"
本文出自 “ELK搭建” 博客,請務必保留此出處http://8258742.blog.51cto.com/8248742/1982068
ELK環境搭建