elasticsearch kibana logstash(ELK)的安裝集成應用
官網關於kibana的學習指導網址是:https://www.elastic.co/guide/en/kibana/current/index.html
Kibana是一個開源的分析和可視化平臺,設計用於Elasticsearch。使用Kibana搜索、查看和與存儲在Elasticsearch索引中的數據交互。您可以輕松地執行高級數據分析並在各種圖表、表和映射中可視化數據。
Kibana使理解大量數據變得容易。它簡單的、基於瀏覽器的界面使您能夠快速創建和共享動態儀表板,實時顯示對Elasticsearch查詢的更改。
kibana的安裝需要依賴elasticsearch,所以需要先安裝它,
rpm -ivh elasticsearch-6.4.1.rpm
然後查看狀態及安裝情況
修改配置文件
在在 Linux 環境中,elasticsearch 不允許以 root 權限來運行!所以需要創建一個非root用戶,以非root用戶來起es
rpm安裝包位於、usr/share/elasticsearch/下,應采用下列授權
剛開始訪問還是不行,然後一頓亂搗鼓,感覺也沒有增加什麽,最後突然刷新一下,好了,先用著,後面再整理一下
然後在test用戶上查看一下運行狀態
然後在通過test用戶起來停止服務測試外網連接,都有爆紅,但是都正常了
然後停掉test用戶的服務,切回到root下開啟服務,再次嘗試外網連接,多次刷新後,也是OK的,說明這一版本不需要通過用戶啟動服務也可以,只是連接虛擬機的時候網絡較差,所以,多刷新幾次。
外網訪問:
結論:這一版本不需要通過用戶啟動服務也可以,只是連接虛擬機的時候網絡較差,所以,多刷新幾次。
kibana的安裝(安裝需要Elasticsearch的支持,所以要先安裝Elasticsearch)
我們直接根據官網來安裝,采用rpm的方式,簡單直接,https://www.elastic.co/guide/en/kibana/current/rpm.html
下載後,安裝,啟動,停止等
啟動,直接輸入網址192.168.135.129:5601不能訪問,關閉防火墻也不行,需要設置/etc/kibana/kibana.yml。如下放開一些配置,修改一些配置
然後登陸外網,多刷新幾次,本博主網絡比較慢,輸入網址http://192.168.135.129:5601
OK!
最後安裝logstash
創建配置文件
內容格式如下主要有輸入,過濾和輸出三部分:
1 input { 2 3 stdin {} 4 } 5 6 filter { 7 8 grok { 9 10 patterns_dir => ["/home/keepgostudio/download/logstash-5.2.0/patterns"] 11 12 match => { 13 14 "message" => ["%{PARAMS_APACHELOG}", "%{NO_PARAMS_APACHELOG}"] 15 16 } 17 18 remove_field => ["host", "timestamp", "httpversion", "@version"] 19 20 } 21 22 23 kv { 24 25 source => "params" 26 27 field_split => "&?" 28 29 } 30 31 32 geoip { 33 34 source => "ip" 35 36 fields => ["country_name", "region_name", "city_name", "latitude", "longitude"] 37 38 target => "location" 39 } 40 41 output { 42 43 elasticsearch { 44 45 hosts => ["192.168.135.129:9200"] 46 47 index => "logstash-test-%{type}-%{host}" 48 49 } 50 51 52 }View Code
運行
運行時采用的配置文件:input { stdin { } } output { stdout {} }
===========================================================分割線==========================================================================
用tar包的方式安裝並進行總結
一、依賴jdk8,下載安裝不多述
二、分別下載elasticsearch,logstash,kibana的相關tar包,直接復制地址wget 方式下載直接方便,沒有wget命令則需要先yum -y install wget,比如(地址在網絡資源的tar包上右鍵復制的鏈接)
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.1.tar.gz
三、先安裝elasticsearch,直接解壓tar即可,其他兩個一樣,解壓即可用,非常簡單。
解壓命令 tar -zxvf tar包名字
修改配置文件端口號和address
直接在解壓包bin下root運行會報錯,然後根據網上創建test的用戶組,及test的用戶,然後授權,在運行,又是各種報錯,大概是內存不行什麽的,參考網上的進行排錯,
https://blog.csdn.net/liangzhao_jay/article/details/56840941
https://blog.csdn.net/seasion_pu/article/details/82262651
https://blog.csdn.net/feng12345zi/article/details/80367907
最終配置如下:
vi /etc/security/limits.conf
/etc/sysctl.conf
然後執行sysctl -p
在用戶下重啟elasticsearch
最後運行成功
打開另一個終端驗證
關閉防火墻,在外網驗證,OK!
四、解壓kibana後修改完配置的端口,address和elasticsearch地址後
直接運行 /bin/kibana即可
五、解壓logstash
在bin目錄下創建一個conf文件
示例的文件如下:
啟動:./logstash -f logstash.conf後
elasticsearch kibana logstash(ELK)的安裝集成應用