搭建ELK 6
ELK 6.2.4搭建
https://www.cnblogs.com/harvey2017/p/8922164.html
開源實時日誌分析ELK平臺能夠完美的解決我們上述的問題,ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。
官方網站:https://www.elastic.co/products
Elasticsearch是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發現,索引自動分片,索引副本機制,restful風格接口,多數據源,自動搜索負載等。
Logstash是一個完全開源的工具,他可以對你的日誌進行收集、過濾,並將其存儲供以後使用(如,搜索)。
Kibana 也是一個開源和免費的工具,它Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數據日誌。
ELK下載:https://www.elastic.co/downloads/
ELK工作原理:
ElasticSearch
配置ElasticSearch:
View Code
然後編輯ES的配置文件:View Code
修改以下配置項:View Code
其他的選項保持默認,然後啟動ES:View Code
註意:
1.需要添加用戶elk,ES不能以root用戶進行啟動
2.可能出現的錯誤:
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
- View Code
- View Code
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] - View Code
另外再配置ES的時候,threadpool.bulk.queue_size 已經變成了thread_pool.bulk.queue_size ,ES_HEAP_SIZE,ES_MAX_MEM等配置都變為ES_JAVA_OPTS這一配置項,如限制內存最大最小為1G: - View Code
然後可以打開頁面http://node1:9200/,將會看到以下內容:(我是通過外部訪問虛擬機,因此為了簡單沒有配置host文件,直接用ip訪問)
Logstash
配置Logstash:
View Code
編寫配置文件(名字和位置可以隨意,這裏我放在config目錄下,取名為log_app.conf):View Code
其他的選項保持默認,然後啟動Logstash:View Code
日誌:
Kibana
配置Kibana:
View Code
修改以下幾項(由於是單機版的,因此host的值也可以使用localhost來代替,這裏僅僅作為演示):View Code
啟動kibana:View Code
啟動後界面:
然後需要創建index,步驟如下:
①點擊左邊iscover出現以下界面
②按照註釋配置,然後點擊Next step,在第二頁 選擇@timestamp點擊create創建
③創建完成之後,可以看到以下一個界面,紅框內是 自動生成的域,也可以理解為 跟數據庫中的字段類似,其中有一個message字段,就是我們想要的日誌信息。
④再次點擊Discover出現以下界面,可以看到默認搜索的是最後15分鐘的日誌,可以通過點擊設置搜索的時間範圍.
⑤可以點擊右側域的add設置需要顯示的字段
添加完成之後,日誌顯示如下:
參考:https://my.oschina.net/itblog/blog/547250
https://blog.csdn.net/abcd_d_/article/details/53018927
https://blog.csdn.net/qq_34021712/article/details/79364592
https://www.cnblogs.com/yincheng/p/logstash.html
搭建ELK 6