1. 程式人生 > 程式設計 >ELK日誌系統搭建

ELK日誌系統搭建

資源下載地址

版本

  • elasticsearch6.7.1
  • logstash6.7.1
  • kibana6.5.4

ElasticSearch安裝

1.修改conf/elasticsearch.yml
節點承擔著資料及master的角色,開放host。
因為伺服器只剩下1G的記憶體,調了下jvm的引數為512m

cluster.name: es6.7  
node.name: node-1  
node.master: true  
node.data: true   
network.host: 0.0.0.0  
複製程式碼

2.啟動es 不能用root啟動es,所以新建一個使用者並分配許可權

adduser es
chown -R es:es elasticsearch-6.7.1
su es
cd
elasticsearch-6.7.1 ./bin/elasticsearch 複製程式碼

image

啟動出現錯誤

max virtual memory areas vm.max_map_count [65530] is too low,increase to at least [262144]

vi /etc/sysctl.conf
vm.max_map_count = 262144
sysctl -p
複製程式碼

image

Logstash安裝

1.修改conf/logstash-simple.conf

image
2.啟動Logstash

cd /home/es/logstash-6.7.1/config
vim logstash-simple.conf
cd
logstash-6.7.1/bin ./bin/logstash -f config/logstash-simple.conf 複製程式碼

啟動後logstash讀取日誌檔案,傳送到es,並自動建立索引

image

啟動Kibana

因為是windows啟動,直接下載後點選kibana.bat

此處可能需要修改conf目錄下的kibana.yml,將elasticsearch.url修改為你要連線的es地址,否則預設連線localhost:9200

image

測試

elasticsearch-head外掛檢視es資料(kibana其實也是可以看的)

image

echo "hello" >> dru.log

向日志末尾追加文字,可以看到logstash輸出日誌,並在es中查到

總結

這是最簡單的elk搭建方式,此處省略了logstash對日誌的解析及過濾,其最強大的地方就是過濾器filter,可以對日誌進行格式化解析;es的索引也沒有進行優化,預設建立了5個主副分片

Logstash配置詳解
Logstash檔案