本文建立在你已經會安裝prometheus服務的基礎之上，如果你還不會安裝，請參考：prometheus多維度監控容器

前言

kubernetes顯然已成為各大公司親睞的容器編排工具，各種私有云公有云平臺基於它構建，那麼，我們怎麼監控叢集中的所有容器呢？目前有三套方案：

1. heapster+influxDB

   heapster為k8s而生，它從apiserver獲取節點資訊，每個節點kubelet內含了cAdvisor的功能，暴露出api，heapster通過訪問這些端點得到容器監控資料。它支援多種儲存方式，大家常用的的就是influxDB。這套方案的缺點是缺乏報警等功能，influxDB的單點問題。因此本方案適合需求是隻要實時監控展示。

2. heapster+hawkular

   本方案解決了上面方案的問題，並且大大提升了監控的高可用性和高效能。比較重量級，適合大型叢集的監控。目前hawkular開源不久。功能完善。有興趣可以研究。本文不做詳細介紹。

3. prometheus

   本方案下文詳細敘述。

k8s支援prometheus

prometheus作為一個時間序列資料收集，處理，儲存的服務，能夠監控的物件必須直接或間接提供prometheus認可的資料模型，通過http api的形式暴露出來。我們知道cAdvisor支援prometheus,同樣，包含了cAdivisor的kubelet也支援prometheus。每個節點都暴露了供prometheus呼叫的api。

prometheus支援k8s

prometheus獲取監控端點的方式有很多，其中就包括k8s，prometheu會通過呼叫master的apiserver獲取到節點資訊，然後去調取每個節點的資料。

配置方式

以下為一個簡單的配置例子

global:
  scrape_interval: 20s
  scrape_timeout: 10s
  evaluation_interval: 20s

scrape_configs:
- job_name: 'kubernetes-nodes-cadvisor'
  kubernetes_sd_configs:
  - api_server:
 
 'http://<YOUR MASTER IP>:8080'
    role: node
  relabel_configs:
  - action: labelmap
    regex: __meta_kubernetes_node_label_(.+)
  - source_labels: [__meta_kubernetes_role]
    action: replace
    target_label: kubernetes_role
    #將預設10250埠改成10255埠
  - source_labels: [__address__]
    regex: '(.*):10250'
    replacement: '${1}:10255'
    target_label: __address__
#以下是監控每個宿主機，需要安裝node-exporter    
- job_name: 'kubernetes_node'
  kubernetes_sd_configs:
  - role: node
    api_server: 'http://172.16.100.101:8080'
  relabel_configs:
  - source_labels: [__address__]
    regex: '(.*):10250'
    replacement: '${1}:9100'
    target_label: __address__    

以上為prometheus的配置，如上配置會監控每個節點的容器資訊和節點監控資訊。需要在k8s中部署node-exporter pod,yaml檔案如下：

apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/scrape: 'true'
  labels:
    app: node-exporter
    name: node-exporter
  name: node-exporter
spec:
  clusterIP: None
  ports:
  - name: scrape
    port: 9100
    protocol: TCP
  selector:
    app: node-exporter
  type: ClusterIP

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: node-exporter
spec:
  template:
    metadata:
      labels:
        app: node-exporter
      name: node-exporter
    spec:
      containers:
      - image: prom/node-exporter
        name: node-exporter
        ports:
        - containerPort: 9100
          hostPort: 9100
          name: scrape
      hostNetwork: true
      hostPID: true

node-exporter啟動成功後，啟動prometheus即可監控到叢集的宿主機和容器狀態資訊。監控端點如下圖：

進階

不僅監控容器狀態，經過k8s,prometheus可以獲取到部署到叢集中的所有服務。如果是一個exporter服務，依然可以被prometheus收集。prometheus配置檔案中

- role: node

role支援：node,pod,service,endpoints
具體的效果你自己去嘗試吧。。