1. 程式人生 > >ELK環境搭建

ELK環境搭建

日誌分析 elk

預備環境:

系統:CentOS Linux release7.3.1611 (Core)

JDK:jdk1.8.0_144

ES:elasticsearch-5.5.1

索引管理:cerebro-0.6.5

Logstash:logstash-5.5.1

Kibana:kibana-5.5.1

一、JAVA環境設置

# tar xf jdk-8u144-linux-x64.tar.gz-C /data/app/

# cat >> /etc/profile <<EOF

#JDK1.8

exportJAVA_HOME=/data/app/jdk1.8.0_144

exportJAVA_BIN=/data/app/jdk1.8.0_144/bin

exportPATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BINPATH CLASSPATH

EOF

# source /etc/profile

查看版本:

# java –version //ELK軟件要求JAVA最低1.8

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

默認安裝的JDK屬主屬組目錄是數字,需要手動修改成root

二、安裝Elasticsearch

描述:ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTfulweb接口。Elasticsearch是基於 JSON 的分布式搜索和分析引擎,專為實現水平擴展、高可用和管理便捷性而設計。

2.1軟件安裝

# tar xf elasticsearch-5.5.1.tar.gz

# mv /data/soft/elasticsearch-5.5.1/data/app/

# chown-R elk:elk data/

# chown -R elk:elk logs/

# chown -R elk:elkelasticsearch-5.5.1/

2.2修改配置

配置文件:elasticsearch.yml //見附錄

註:elasticsearch不允許root啟動,因此需要切換到普通用戶

測試節點:

[root@ES01 elk]# curl10.20.11.7:9200

{

"name" :"ES01",

"cluster_name" :"xxjs",

"cluster_uuid" :"KeHt6-VtQ96YiJ81ILHN6A",

"version" : {

"number" :"5.5.1",

"build_hash" :"19c13d0",

"build_date" :"2017-07-18T20:44:24.823Z",

"build_snapshot" :false,

"lucene_version" :"6.6.0"

},

"tagline" : "YouKnow, for Search"

}

端口:9200/9300

技術分享


# curl -XGET‘10.20.11.7:9200/_cat/health?v&pretty‘

#查看健康狀態

技術分享

# curl -XGET‘10.20.11.7:9200/_cat/nodes?v&pretty‘

#查看集群節點列表

技術分享

三、安裝Logstash

描述:Logstash軟件本身也需要運行在JDK1.8(包含)以上的的環境中,Logstash 是一款強大的數據處理工具,它可以實現數據傳輸,格式處理,格式化輸出,還有強大的插件功能,常用於日誌處理。Logstash是動態數據收集管道,擁有可擴展的插件生態系統,能夠與Elasticsearch 產生強大的協同作用。

3.1軟件安裝

# tar xflogstash-5.5.1.tar.gz -C /data/app/

# cd /data/app/logstash-5.5.1/config/

# mkdir config //用於存放日誌分析配置文件

3.2修改配置

配置文件:logstash.yml //見附錄

分析配置文件: //可以使用root運行

-rw-r--r--. 1 root root 678 9月 519:41 tomcat.conf

3.3測試配置文件是否可用

# /data/app/logstash-5.5.1/bin/logstash-f tomcat.conf \

--config.test_and_exit

出現Configer OK

3.4設置後臺運行

#nohup /data/app/logstash-5.5.1/bin/logstash -f \

tomcat.conf &>/dev/null &

端口:9600

四、搭建Kibana

描述:Kibana是一個開源的分析與可視化平臺,Kibana 能夠以圖表的形式呈現數據,並且具有可擴展的用戶界面,供您全方位配置和管理Elastic Stack。Kibanak可以搜索、查看、交互存放在Elasticsearch索引裏的數據,使用各種不同的圖表、表格、地圖等kibana能夠很輕易地展示高級數據分析與可視化。

4.1軟件安裝

# tar xfkibana-5.5.1-linux-x86_64.tar.gz -C /data/app/

# chown -R elk:elk /data/app/kibana-5.5.1-linux-x86_64

4.2修改配置

配置文件:kibana.yml //見附錄

4.3設置後臺運行 //使用elk用戶登錄

# nohup /data/app/kibana-5.5.1-linux-x86_64/config/kibana.yml &>/dev/null &

4.4查看服務是否運行,端口5601

技術分享

4.5運行啟動kibana

網頁訪問:http://10.20.11.11:5601

技術分享

4.5-2添加索引

技術分享

4.5-3創建索引-1

技術分享

4.5-4創建索引-2

技術分享

4.5-5發現索引

技術分享

五、搭建Cerebro

描述:Cerebro是第三方ES集群管理工具,可以方便查看集群狀態;它也提供了對ES集群操作的API功能

5.1軟件安裝

# tar xf cerebro-0.6.5.tgz

該軟件解壓即可使用

5.2設置後臺運行

# nohup ./bin/cerebro &>/dev/null &

5.3訪問控制

WEB訪問:http://10.20.11.7:9000

然後在HOSTS裏輸入:http://10.20.11.7:9200

如果安裝了x-pack,需要輸入ES的用戶名和密碼

技術分享


界面顯示如下:

可以查看管理ES主機(或集群)狀態,也可以查看管理索引

方便管理

技術分享


到此ELK已經完成搭建!!!

配置使用見後續文章



附錄:

ES配置文件:

修改jvm.options配置設置
-Xms2g --> -Xms13g
-Xmx2g --> -Xmx13g
註:按需調整,配置物理機內存的50%,但不要超過31G。
修改elasticsearch.yml 配置
cluster.name: xxjs //集群名
node.name: ES01 //節點名
path.data: /data/app/data //data存儲路徑
path.logs: /data/app/logs //日誌路徑
network.host: 10.20.11.7 //監聽地址
http.port: 9200 //監聽端口
discovery.zen.ping.unicast.hosts: ["10.20.11.7", "10.20.11.8", "10.20.11.9", "10.20.11.10"]
//集群節點列表,也可用節點名
discovery.zen.minimum_master_nodes: 4
//集群可做master的最小節點數


修改logstash.yml配置
path.data: /var/lib/logstash
path.config: /data/soft/logstash-5.5.1
path.logs: /var/log/logstash


修改 kibana.yml配置
server.port: 5601
server.host: "10.20.11.11"
elasticsearch.url: "http://10.20.11.7:9200"

本文出自 “ELK搭建” 博客,請務必保留此出處http://8258742.blog.51cto.com/8248742/1982068

ELK環境搭建