利用ELK搭建Docker容器化應用日誌中心

概述

應用一旦容器化以後，需要考慮的就是如何採集位於Docker容器中的應用程式的列印日誌供運維分析。典型的比如SpringBoot應用的日誌收集。本文即將闡述如何利用ELK日誌中心來收集容器化應用程式所產生的日誌，並且可以用視覺化的方式對日誌進行查詢與分析，其架構如下圖所示：

映象準備

• ElasticSearch映象

• Logstash映象

• Kibana映象

• Nginx映象（作為容器化應用來生產日誌）

開啟Linux系統Rsyslog服務

修改Rsyslog服務配置檔案：

1. vim /etc/rsyslog.conf

開啟下面三個引數：

1. $ModLoad imtcp

2. $InputTCPServerRun 514

4. *.* @@localhost:4560

意圖很簡單：讓Rsyslog載入imtcp模組並監聽514埠，然後將Rsyslog中收集的資料轉發到本地4560埠！

然後重啟Rsyslog服務：

1. systemctl restart rsyslog

檢視rsyslog啟動狀態：

1. netstat -tnl

部署ElasticSearch服務

1. docker run -d -p 9200:9200 \

2. -v ~/elasticsearch/data:/usr/share/elasticsearch/data \

3. --name elasticsearch elasticsearch

部署Logstash服務

新增~/logstash/logstash.conf配置檔案如下：

1. input {

2. syslog {

3. type => "rsyslog"

4. port => 4560

5. }

6. }

8. output {

9. elasticsearch {

10. hosts => [ "elasticsearch:9200" ]

11. }

12. }

配置中我們讓Logstash從本地的Rsyslog服務中取出應用日誌資料，然後轉發到ElasticSearch資料庫中！

配置完成以後，可以通過如下命令來啟動Logstash容器：

1. docker run -d -p 4560:4560 \

2. -v ~/logstash/logstash.conf:/etc/logstash.conf \

3. --link elasticsearch:elasticsearch \

4. --name logstash logstash \

5. logstash -f /etc/logstash.conf

部署Kibana服務

1. docker run -d -p 5601:5601 \

2. --link elasticsearch:elasticsearch \

3. -e ELASTICSEARCH_URL=http://elasticsearch:9200 \

4. --name kibana kibana

啟動nginx容器來生產日誌

1. docker run -d -p 90:80 --log-driver syslog --log-opt \

2. syslog-address=tcp://localhost:514 \

3. --log-opt tag="nginx" --name nginx nginx

很明顯Docker容器中的Nginx應用日誌轉發到本地syslog服務中，然後由syslog服務將資料轉給Logstash進行收集。

至此，日誌中心搭建完畢，目前一共四個容器在工作：

實驗驗證

• 瀏覽器開啟localhost:90來開啟Nginx介面，並重新整理幾次，讓後臺產生GET請求的日誌

• 開啟Kibana視覺化介面：localhost:5601

• 收集Nginx應用日誌

• 查詢應用日誌

在查詢框中輸入program=nginx可查詢出特定日誌