從零開始搭建K8S--如何監控K8S叢集日誌
架構選擇(ELK VS EFK)
ELK
我們首先介紹一下傳統的日誌監控方案。其中,ELK Stack 是我們最熟悉不過的架構。所謂ELK,分別指Elastic公司的Elasticsearch、Logstash、Kibana。在比較舊的ELK架構中,Logstash身兼日誌的採集、過濾兩職。但由於Logstash基於JVM,效能有一定限制,因此,目前業界更推薦使用Go語言開發FIiebeat代替Logstash的採集功能,Logstash只作為了日誌過濾的中介軟體。
最常見的ELK架構如下:
image.png
如上圖所示,各角色功能如下:
多個Filebeat在各個業務端進行日誌採集,然後上傳至Logstash
多個Logstash節點並行(負載均衡,不作為叢集),對日誌記錄進行過濾處理,然後上傳至Elasticsearch叢集
多個Elasticsearch構成叢集服務,提供日誌的索引和儲存能力
Kibana負責對Elasticsearch中的日誌資料進行檢索、分析
當然,在該架構中,根據業務特點,還可以加入某些中介軟體,如Redis、Kafak等:
image.png
如上圖所示,Kafka叢集作為訊息緩衝佇列,可以降低大量FIlebeat對Logstash的併發訪問壓力。
EFK
目前,在K8S的日誌監控解決方案中,EFK也是較常用的架構。所謂的EFK,即Elasticsearch + Fluentd + Kibana。在該架構中,Fluentd作為日誌採集客戶端。但我個人認為,相對於Filebeat,Fluentd並沒有突出的優勢。並且,由於同屬於Elastic公司,Filebeat可以更好的相容其產品棧。因此,在K8S上,我仍然推薦ELK架構。
日誌採集方式
確定使用ELK+Filebeat作為架構後,我們還需要明確Filebeat採集K8S叢集日誌的方式,這也是本文的重點。官方文件中提到了三種採集方式,這裡簡單介紹一下:
方式1:Node級日誌代理
在每個節點(即宿主機)上可以獨立執行一個Node級日誌代理,通常的實現方式為DaemonSet。使用者應用只需要將日誌寫到標準輸出,Docker 的日誌驅動會將每個容器的標準輸出收集並寫入到主機檔案系統,這樣Node級日誌代理就可以將日誌統一收集並上傳。另外,可以使用K8S的logrotate或Docker 的log-opt 選項負責日誌的輪轉。
Docker預設的日誌驅動(LogDriver)是json-driver,其會將日誌以JSON檔案的方式儲存。所有容器輸出到控制檯的日誌,都會以*-json.log的命名方式儲存在/var/lib/docker/containers/目錄下。對於Docker日誌驅動的具體介紹,請參考官方文件。另外,除了收集Docker容器日誌,一般建議同時收集K8S自身的日誌以及宿主機的所有系統日誌,其位置都在var/log下。
所以,簡單來說,本方式就是在每個node上各執行一個日誌代理容器,對本節點/var/log和 /var/lib/docker/containers/兩個目錄下的日誌進行採集,然後彙總到elasticsearch叢集,最後通過kibana展示。
方式2:伴生容器(sidecar container)作為日誌代理
建立一個伴生容器(也可稱作日誌容器),與應用程式容器在處於同一個Pod中。同時伴生容器內部執行一個獨立的、專門為收集應用日誌的代理,常見的有Logstash、Fluentd 、Filebeat等。日誌容器通過共享卷可以獲得應用容器的日誌,然後進行上傳。
方式3:應用直接上傳日誌
應用程式容器直接通過網路連線上傳日誌到後端,這是最簡單的方式。
對比
其中,相對來說,方式1在業界使用更為廣泛,並且官方也更為推薦。因此,最終我們採用ELK+Filebeat架構,並基於方式1,如下:
準備操作
DaemonSet概念介紹
在搭建前,我們先簡單介紹一下方式1中提到的DaemonSet,這也是一個重要的概念:
DaemonSet能夠讓所有(或者一些特定)的Node節點運行同一個pod。當節點加入到kubernetes叢集中,pod會被(DaemonSet)排程到該節點上執行,當節點從kubernetes叢集中被移除,被(DaemonSet)排程的pod會被移除,如果刪除DaemonSet,所有跟這個DaemonSet相關的pods都會被刪除。
因此,我們可以使用DaemonSet來部署Filebeat。這樣,每當叢集加入一個新的節點,該節點就會自動建立一個Filebeat守護程序,並有且只有一個。
另外,由於篇幅限制,本文只介紹如何通過基於DaemonSet的Filebeat來收集K8S叢集的日誌,而非介紹如何在K8S上搭建一個ELK叢集。同時,日誌記錄將直接上傳至Elasticsearch中,而不通過Logstash,並且本文假設Elasticsearch叢集已提前搭建完畢可直接使用。
清楚了本文的側重點後,好,走你~
官方Filebeat部署指令碼介紹
這裡,我們將基於Elastic官方提供的Filebeat部署指令碼進行部署,如下所示:
---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-config
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
filebeat.yml: |-
filebeat.config:
prospectors:
# Mounted `filebeat-prospectors` configmap:
path: ${path.config}/prospectors.d/*.yml
# Reload prospectors configs as they change:
reload.enabled: false
modules:
path: ${path.config}/modules.d/*.yml
# Reload module configs as they change:
reload.enabled: false
processors:
- add_cloud_metadata:
cloud.id: ${ELASTIC_CLOUD_ID}
cloud.auth: ${ELASTIC_CLOUD_AUTH}
output.elasticsearch:
hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
username: ${ELASTICSEARCH_USERNAME}
password: ${ELASTICSEARCH_PASSWORD}
---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-prospectors
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
kubernetes.yml: |-
- type: docker
containers.ids:
- "*"
processors:
- add_kubernetes_metadata:
in_cluster: true
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: filebeat
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
spec:
template:
metadata:
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
spec:
serviceAccountName: filebeat
terminationGracePeriodSeconds: 30
containers:
- name: filebeat
image: docker.elastic.co/beats/filebeat:6.2.4
args: [
"-c", "/etc/filebeat.yml",
"-e",
]
env:
- name: ELASTICSEARCH_HOST
value: elasticsearch
- name: ELASTICSEARCH_PORT
value: "9200"
- name: ELASTICSEARCH_USERNAME
value: elastic
- name: ELASTICSEARCH_PASSWORD
value: changeme
- name: ELASTIC_CLOUD_ID
value:
- name: ELASTIC_CLOUD_AUTH
value:
securityContext:
runAsUser: 0
resources:
limits:
memory: 200Mi
requests:
cpu: 100m
memory: 100Mi
volumeMounts:
- name: config
mountPath: /etc/filebeat.yml
readOnly: true
subPath: filebeat.yml
- name: prospectors
mountPath: /usr/share/filebeat/prospectors.d
readOnly: true
- name: data
mountPath: /usr/share/filebeat/data
- name: varlibdockercontainers
mountPath: /var/lib/docker/containers
readOnly: true
volumes:
- name: config
configMap:
defaultMode: 0600
name: filebeat-config
- name: varlibdockercontainers
hostPath:
path: /var/lib/docker/containers
- name: prospectors
configMap:
defaultMode: 0600
name: filebeat-prospectors
- name: data
emptyDir: {}
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
name: filebeat
subjects:
- kind: ServiceAccount
name: filebeat
namespace: kube-system
roleRef:
kind: ClusterRole
name: filebeat
apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
name: filebeat
labels:
k8s-app: filebeat
rules:
- apiGroups: [""] # "" indicates the core API group
resources:
- namespaces
- pods
verbs:
- get
- watch
- list
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: filebeat
namespace: kube-system
labels:
k8s-app: filebeat
---
如上,看起來似乎挺複雜,可以分為如下幾個部分:
ConfigMap
DaemonSet
ClusterRoleBinding
ClusterRole
ServiceAccount
ConfigMap
我們先重點關注一下DaemonSet的volumeMounts和volumes,以瞭解ConfigMap的掛載方式:
volumeMounts:
- name: config
mountPath: /etc/filebeat.yml
readOnly: true
subPath: filebeat.yml
- name: prospectors
mountPath: /usr/share/filebeat/prospectors.d
readOnly: true
- name: data
mountPath: /usr/share/filebeat/data
- name: varlibdockercontainers
mountPath: /var/lib/docker/containers
readOnly: true
volumes:
- name: config
configMap:
defaultMode: 0600
name: filebeat-config
- name: varlibdockercontainers
hostPath:
path: /var/lib/docker/containers
- name: prospectors
configMap:
defaultMode: 0600
name: filebeat-prospectors
- name: data
emptyDir: {}
如上,volumeMounts包括四個部分,解釋如下:
config
filebeat-config這個Configmap會生成一個filebeat.yml檔案,其會被掛載為Filebeat的配置檔案/etc/filebeat.yml
prospectors
prospectors這個Configmap會生成一個kubernetes.yml檔案,其會被掛載到路徑/usr/share/filebeat/prospectors.d下,並被filebeat.yml引用
data
Filebeat自身的資料掛載為emptyDir: {}
varlibdockercontainers
K8S叢集的日誌都儲存在/var/lib/docker/containers,Filebeat將從該路徑進行收集
瞭解了ConfigMap的掛載方式後,現在,我們分析第一個ConfigMap:
---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-config
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
filebeat.yml: |-
filebeat.config:
prospectors:
# Mounted `filebeat-prospectors` configmap:
path: ${path.config}/prospectors.d/*.yml
# Reload prospectors configs as they change:
reload.enabled: false
modules:
path: ${path.config}/modules.d/*.yml
# Reload module configs as they change:
reload.enabled: false
processors:
- add_cloud_metadata:
cloud.id: ${ELASTIC_CLOUD_ID}
cloud.auth: ${ELASTIC_CLOUD_AUTH}
output.elasticsearch:
hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
username: ${ELASTICSEARCH_USERNAME}
password: ${ELASTICSEARCH_PASSWORD}
我們知道,Configmap的每個key都會生成一個同名的檔案,因此這裡會建立一個配置檔案filebeat.yml檔案,其內容中的環境變數將由DaemonSet中的env部分定義。
在filebeat.yml中,可以看到Filebeat的一個重要元件: prospectors(採礦者),其主要用來指定從哪些檔案中採集資料。這裡,prospectors並沒有直接指定目標檔案,而是間接的引用路徑:${path.config}/prospectors.d/*.yml,由前面可知,該路徑中的yml檔案由第二個ConfigMap定義:
---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-prospectors
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
kubernetes.yml: |-
- type: docker
containers.ids:
- "*"
processors:
- add_kubernetes_metadata:
in_cluster: true
如上,type指定了prospectors的型別為docker,表示收集本機的docker日誌。containers.ids為*表示監聽所有容器。type除了docker,一般使用更多的是log,可以直接指定任何路徑上的日誌檔案,參見官方文件。
部署步驟
介紹完Filebeat的部署指令碼後,我們開始真正的部署過程。
1.部署Filebeat
官方配置檔案無法直接使用,需要我們定製。首先,修改DaemonSet中的環境變數env:
env:
- name: ELASTICSEARCH_HOST
value: "X.X.X.X"
- name: ELASTICSEARCH_PORT
value: "9200"
- name: ELASTICSEARCH_USERNAME
value:
- name: ELASTICSEARCH_PASSWORD
value:
- name: ELASTIC_CLOUD_ID
value:
- name: ELASTIC_CLOUD_AUTH
value:
如上,ELASTICSEARCH_HOST指定為Elasticsearch叢集的入口地址,埠ELASTICSEARCH_PORT為預設的9200;由於我的叢集沒有加密,因此ELASTICSEARCH_USERNAME和ELASTICSEARCH_PASSWORD全部留空,大家可以酌情修改;其他保持預設。
同時,還需要註釋掉第一個ConfigMap中output.elasticsearch的使用者名稱和密碼:
output.elasticsearch:
hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
#username: ${ELASTICSEARCH_USERNAME}
#password: ${ELASTICSEARCH_PASSWORD}
其次,還需要修改第二個ConfigMap的data部分為:
data:
kubernetes.yml: |-
- type: log
enabled: true
paths:
- /var/log/*.log
- type: docker
containers.ids:
- "*"
processors:
- add_kubernetes_metadata:
in_cluster: true
如上,type: docker的配置可以對K8S上所有Docker容器產生的日誌進行收集。另外,為了收集宿主機系統日誌和K8S自身日誌,我們還需要獲取/var/log/*.log。
修改並建立完畢後,檢視DaemonSet資訊,如下圖所示:
[root@k8s-node1 filebeat]# kubectl get ds -n kube-system
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
calico-etcd 1 1 1 1 1 node-role.kubernetes.io/master= 5d
calico-node 3 3 3 3 3 <none> 5d
filebeat 2 2 0 2 0 <none> 24s
kube-proxy 3 3 3 3 3 <none> 5d
檢視pod資訊,每個節點都會啟動一個filebeat容器:
filebeat-hr5vq 1/1 Running 1 3m 192.168.169.223 k8s-node2
filebeat-khzzj 1/1 Running 1 3m 192.168.108.7 k8s-node3
filebeat-rsnbl 1/1 Running 0 3m 192.168.36.126 k8s-node1
2.部署Kibana
參考官方示例,我們按需修改為如下:
apiVersion: apps/v1
kind: Deployment
metadata:
name: kibana-logging
namespace: kube-system
labels:
k8s-app: kibana-logging
spec:
replicas: 1
selector:
matchLabels:
k8s-app: kibana-logging
template:
metadata:
labels:
k8s-app: kibana-logging
spec:
containers:
- name: kibana-logging
image: docker.elastic.co/kibana/kibana:6.2.4
resources:
# need more cpu upon initialization, therefore burstable class
limits:
cpu: 1000m
requests:
cpu: 100m
env:
- name: ELASTICSEARCH_URL
value: http://X.X.X.X:9200
ports:
- containerPort: 5601
name: ui
protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
name: kibana-logging
namespace: kube-system
labels:
k8s-app: kibana-logging
spec:
type: NodePort
ports:
- port: 5601
targetPort: 5601
selector:
k8s-app: kibana-logging
如上,Kibana的版本為6.2.4,並且一定要與Filebeat、Elasticsearch保持一致。另外,注意將Deployment中env的環境變數ELASTICSEARCH_URL,修改為自己的Elasticsearch叢集地址。
這裡我們使用了Service暴露了NodePort,當然也可以使用Ingress。
3.訪問Kibana
好了,現在我們可以通過NodeIp:NodePort或Ingress方式來訪問Kibana。在配置Elasticsearch索引字首後,即可檢索日誌:
如上,可以看到K8S中各個容器的日誌,當然也包括宿主機的系統日誌。
4.測試應用日誌
至此,我們通過Filebeat成功獲取了K8S上的容器日誌以及系統日誌。但在實際中,我們更關注的是應用程式的業務日誌。這裡,我們編寫一個簡單的JAVA專案來測試一下。
測試程式碼
只是簡單的迴圈輸出遞增序列:
logback.xml
appender指定為STDOUT即可:
Dockerfile
可以使用gradle將專案釋出為tar包,然後拷貝到java:9-re映象中。在build映象後,記得別忘記上傳至自己的倉庫中:
K8S部署指令碼
執行該指令碼即可完成測試專案的部署:
輸出日誌
我們可以去/var/lib/docker/containers/下檢視測試專案輸出的json格式日誌:
在Dashborad中,也可以檢視標準輸出的日誌:
好了,我們已經成功的通過Filebeat上傳了自定義的應用