初識日誌收集分析框架之ELK【一】
阿新 • • 發佈:2018-12-23
這裡寫自定義目錄標題
一次公司年終技術嘉年華程式設計馬拉松比賽結緣ELK
事情是醬紫的,公司每年都會有年終技術嘉年華盛典,以往都是在年會上看別人站上領獎臺,而今也感受了一把程式設計馬拉松的衝冠之路,路途並非坦途,但結果彌足珍貴,雖錯失冠軍寶座,決賽的#億級流量日誌架構挑戰#讓人獲益匪淺。打住打住打住,下面進入正題:
技術架構選型
基於對賽事題目的分析和最終輸出結果,考慮到比賽時間的有限,需要快速搭建一套日誌收集分析展示平臺,團隊選擇了Elasticserach+Logstash+Kibana的架構,L用來進行日誌收集,ES用來進行日誌的分析處理,K作為最終結果的展示,所提供資源4臺計算資源+兩臺閘道器日誌生成機器,具體資源情況如下:
專案 | Value | Value | Value | 數量 |
---|---|---|---|---|
計算機器 | 4C | 8G | 150G | 4 |
ES叢集 | ElasticSerach | V6.5.4 | 4 | |
L日誌收集 | Logstash | V6.5.4 | 2 | |
K展示 | Kibana | V6.5.4 | 1 | |
日誌生成機器 | 5000/s、10000/s、20000/s… | 2 | ||
JDK | JDK | V1.8 |