配置檔案生成

Coordinaor經過服務發現，relabel及負載探測後，會將target分配給某個分片，並將target資訊下發給Sidecar，包括

• target的地址，
• target預估的series值
• target的hash值
• 處理完relabel之後的label集合。

Sidecar根據從Coordinator得到的target資訊，結合原始配置檔案，生成一個新的配置檔案給Prometheus使用，這個新的配置檔案做了如下改動。

• 將所有服務發現機制改為static_configs模式，並直接寫入target列表，每個target包含經過relabel之後的label值
• 由於現在target已經relabel過了，所以刪除job配置中的relabel_configs項，但是依舊保留metrics_rebale_configs
• 將target的label中的scheme欄位全部替換成http，並將原schme以請求引數的形式加入到label集合中
• 將target的job_name以請求引數的形式加入到label集合中* 注入proxy_url將所有抓取請求代理到Sidecar

我們來看一個例子，假如原來的配置是一個kubelet的採集配置

global:
  evaluation_interval: 30s
  scrape_interval: 15s
scrape_configs:
- job_name: kubelet
  honor_timestamps: true
  metrics_path: /metrics
  scheme: https
  kubernetes_sd_configs:
  - role: node
  bearer_token: xxx
  tls_config:
    insecure_skip_verify: true
  relabel_configs:
  - separator: ;
    regex: __meta_kubernetes_node_label_(.+)
    replacement: $1
    action: labelmap

通過注入將生成一個新的配置檔案

global:
  evaluation_interval: 30s
  scrape_interval: 15s
scrape_configs:
- job_name: kubelet                                        
  honor_timestamps: true                                                                      
  metrics_path: /metrics                                   
  scheme: https  
  proxy_url: http://127.0.0.1:8008 # 所有抓取請求代理到Sidecar
  static_configs:                                          
  - targets:                                               
    - 111.111.111.111:10250                                   
    labels:                                                
      __address__: 111.111.111.111:10250                      
      __metrics_path__: /metrics                           
      __param__hash: "15696628886240206341"                
      __param__jobName: kubelet                            
      __param__scheme: https  # 儲存原始的scheme                             
      __scheme__: http        # 設定新的scheme，這將使得代理到Sidecar的抓取請求都是http請求
      # 以下是經過relabel_configs處理之後得到的label集合
      beta_kubernetes_io_arch: amd64                       
      beta_kubernetes_io_instance_type: QCLOUD             
      beta_kubernetes_io_os: linux                         
      cloud_tencent_com_auto_scaling_group_id: asg-b4pwdxq5
      cloud_tencent_com_node_instance_id: ins-q0toknxf     
      failure_domain_beta_kubernetes_io_region: sh         
      failure_domain_beta_kubernetes_io_zone: "200003"     
      instance: 172.18.1.106                               
      job: kubelet                                         
      kubernetes_io_arch: amd64                            
      kubernetes_io_hostname: 172.18.1.106                 
      kubernetes_io_os: linux

上邊新生成的配置檔案是Prometheus真正使用的配置檔案，Sidecar通過Coordinator下發的target列表來生成配置，就可以讓Prometheus有選擇性得進行採集。

git clone https://github.com/tkestack/kvass.git
cd kvass/examples

kubectl create -f  metrics.yaml

kubectl create -f kvass-rbac.yaml

kubectl create -f config.yaml

global:
  scrape_interval: 15s
  evaluation_interval: 15s
  external_labels:
    cluster: custom
scrape_configs:
- job_name: 'metrics-test'
  kubernetes_sd_configs:
    - role: pod
  relabel_configs:
  - source_labels: [__meta_kubernetes_pod_label_app_kubernetes_io_name]
    regex: metrics
    action: keep
  - source_labels: [__meta_kubernetes_pod_ip]
    action: replace
    regex: (.*)
    replacement: ${1}:9091
    target_label: __address__
  - source_labels:
    - __meta_kubernetes_pod_name
    target_label: pod

kubectl create -f coordinator.yaml

kubectl create -f prometheus-rep-0.yaml

kubectl create -f thanos-query.yaml