2. 程式人生 > 實用技巧 >從零搭建Prometheus監控報警系統

從零搭建Prometheus監控報警系統

阿新 • • 發佈：2021-01-20

什麼是Prometheus?

Prometheus是由SoundCloud開發的開源監控報警系統和時序列資料庫(TSDB)。Prometheus使用Go語言開發，是Google BorgMon監控系統的開源版本。
2016年由Google發起Linux基金會旗下的原生雲基金會(Cloud Native Computing Foundation), 將Prometheus納入其下第二大開源專案。
Prometheus目前在開源社群相當活躍。
Prometheus和Heapster(Heapster是K8S的一個子專案，用於獲取叢集的效能資料。)相比功能更完善、更全面。Prometheus效能也足夠支撐上萬臺規模的叢集。

說白了就是監控分散式各個機器的情況的包括資料庫等等

Prometheus的特點

  • 多維度資料模型。
  • 靈活的查詢語言。
  • 不依賴分散式儲存，單個伺服器節點是自主的。
  • 通過基於HTTP的pull方式採集時序資料。
  • 可以通過中間閘道器進行時序列資料推送。
  • 通過服務發現或者靜態配置來發現目標服務物件。
  • 支援多種多樣的圖表和介面展示，比如Grafana等。

官網地址：https://prometheus.io/

架構圖


基本原理

Prometheus的基本原理是通過HTTP協議週期性抓取被監控元件的狀態，任意元件只要提供對應的HTTP介面就可以接入監控。不需要任何SDK或者其他的整合過程。這樣做非常適合做虛擬化環境監控系統，比如VM、Docker、Kubernetes等。輸出被監控元件資訊的HTTP介面被叫做exporter 。目前網際網路公司常用的元件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系統資訊(包括磁碟、記憶體、CPU、網路等等)。

服務過程

  • Prometheus Daemon負責定時去目標上抓取metrics(指標)資料，每個抓取目標需要暴露一個http服務的介面給它定時抓取。Prometheus支援通過配置檔案、文字檔案、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目標。Prometheus採用PULL的方式進行監控，即伺服器可以直接通過目標PULL資料或者間接地通過中間閘道器來Push資料。
  • Prometheus在本地儲存抓取的所有資料，並通過一定規則進行清理和整理資料，並把得到的結果儲存到新的時間序列中。
  • Prometheus通過PromQL和其他API視覺化地展示收集的資料。Prometheus支援很多方式的圖表視覺化，例如Grafana、自帶的Promdash以及自身提供的模版引擎等等。Prometheus還提供HTTP API的查詢方式，自定義所需要的輸出。
  • PushGateway支援Client主動推送metrics到PushGateway，而Prometheus只是定時去Gateway上抓取資料。
  • Alertmanager是獨立於Prometheus的一個元件，可以支援Prometheus的查詢語句，提供十分靈活的報警方式。

三大套件

  • Server 主要負責資料採集和儲存，提供PromQL查詢語言的支援。
  • Alertmanager 警告管理器，用來進行報警。
  • Push Gateway 支援臨時性Job主動推送指標的中間閘道器。

本飛豬教程內容簡介

  • 1.演示安裝Prometheus Server
  • 2.演示通過golang和node-exporter提供metrics介面
  • 3.演示pushgateway的使用
  • 4.演示grafana的使用
  • 5.演示alertmanager的使用

安裝準備

這裡我的伺服器IP是10.211.55.25，登入，建立相應資料夾

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml

下面開始三大套件的學習

一.安裝Prometheus Server

通過docker方式
首先建立一個配置檔案/home/chenqionghe/test/prometheus/prometheus.yml
掛載之前需要改變檔案許可權為777，要不會引起修改宿主機上的檔案內容不同步的問題

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目標抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
# 這裡表示抓取物件的配置
scrape_configs:
    #這個配置是表示在這個配置內的時間序例，每一條都會自動新增上這個{job_name:"prometheus"}的標籤  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全域性抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
執行

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

啟動時加上--web.enable-lifecycle啟用遠端熱載入配置檔案
呼叫指令是curl -X POSThttp://localhost:9090/-/reload

訪問http://10.211.55.25:9090
我們會看到如下l介面


訪問http://10.211.55.25:9090/metrics

我們配置了9090埠，預設prometheus會抓取自己的/metrics介面
在Graph選項已經可以看到監控的資料

二.安裝客戶端提供metrics介面

1.通過golang客戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆專案
git clone https://github.com/prometheus/client_golang.git
#安裝需要翻牆的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安裝必要軟體包
go get -u -v github.com/prometheus/client_golang/prometheus
#編譯
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go
執行3個示例metrics介面

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &

2.通過node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然後把這兩些介面再次配置到prometheus.yml, 重新載入配置curl -X POSThttp://localhost:9090/-/reload

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目標抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 這裡表示抓取物件的配置
scrape_configs:
  #這個配置是表示在這個配置內的時間序例，每一條都會自動新增上這個{job_name:"prometheus"}的標籤  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全域性抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到介面都生效了

prometheus還提供了各種exporter工具，感興趣小夥伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時作業和批處理作業向普羅米修斯公開他們的指標。
由於這類作業的存在時間可能不夠長, 無法抓取到, 因此它們可以將指標推送到推閘道器中。
Prometheus採集資料是用的pull也就是拉模型，這從我們剛才設定的5秒引數就能看出來。但是有些資料並不適合採用這樣的方式，對這樣的資料可以使用Push Gateway服務。
它就相當於一個快取，當資料採集完成之後，就上傳到這裡，由Prometheus稍後再pull過來。
我們來試一下，首先啟動Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

訪問http://10.211.55.25:9091 可以看到pushgateway已經執行起來了

接下來我們就可以往pushgateway推送資料了，prometheus提供了多種語言的sdk，最簡單的方式就是通過shell

    • 推送一個指標 
      • echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh

        • 推送多個指標
        cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 鍛鍊場所價格
muscle_metric{label="gym"} 8800
# 三大項資料 kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

        然後我們再將pushgateway配置到prometheus.yml裡邊,過載配置
        看到已經可以搜尋出剛剛推送的指標了

        四.安裝Grafana展示

        Grafana是用於視覺化大型測量資料的開源程式，它提供了強大和優雅的方式去建立、共享、瀏覽資料。
        Dashboard中顯示了你不同metric資料來源中的資料。
        Grafana最常用於因特網基礎設施和應用分析，但在其他領域也有用到，比如：工業感測器、家庭自動化、過程控制等等。
        Grafana支援熱插拔控制面板和可擴充套件的資料來源，目前已經支援Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

        我們使用docker安裝

      • docker run -d -p 3000:3000 --name grafana grafana/grafana

      • 預設登入賬戶和密碼都是admin，進入後介面如下

        我們新增一個數據源

        把Prometheus的地址填上

        匯入prometheus的模板

        開啟左上角選擇已經匯入的模板會看到已經有各種圖

        我們來新增一個自己的圖表



        指定自己想看的指標和關鍵字，右上角儲存

        看到如下資料

        到這裡我們就已經實現了資料的自動收集和展示，下面來說下prometheus如何自動報警

        五.安裝AlterManager

        Pormetheus的警告由獨立的兩部分組成。
        Prometheus服務中的警告規則傳送警告到Alertmanager。
        然後這個Alertmanager管理這些警告。包括silencing, inhibition, aggregation，以及通過一些方法傳送通知，例如：email，PagerDuty和HipChat。
        建立警告和通知的主要步驟：

        • 建立和配置Alertmanager
        • 啟動Prometheus服務時，通過-alertmanager.url標誌配置Alermanager地址，以便Prometheus服務能和Alertmanager建立連線。

        建立和配置Alertmanager

        mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

        建立配置檔案alertmanager.yml

      • global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #組報警等待時間
  group_interval: 10s #組報警間隔時間
  repeat_interval: 1m #重複報警間隔時間
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

        這裡配置成了web.hook的方式，當server通知alertmanager會自動呼叫webhookhttp://10.211.55.2:8888/open/test

        下面執行altermanager

      • docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

        訪問http://10.211.55.25:9093

        接下來修改Server端配置報警規則和altermanager地址
        修改規則/home/chenqionghe/promethues/server/rules.yml

      • groups:
  - name: cqh
    rules:
      - alert: cqh測試
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}:硬拉超標！lightweight baby!!!"
          description: "{{$labels.instance}}:硬拉超標！lightweight baby!!!"
這條規則的意思是，硬拉超過150公斤，持續一分鐘，就報警通知
然後再修改prometheus新增altermanager配置

global:
  scrape_interval:     15s # 預設抓取間隔, 15秒向目標抓取一次資料。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 這裡表示抓取物件的配置
scrape_configs:
  #這個配置是表示在這個配置內的時間序例，每一條都會自動新增上這個{job_name:"prometheus"}的標籤  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全域性抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]
        過載prometheus配置，規則就已經生效
接下來我們觀察grafana中資料的變化

然後我們點選prometheus的Alert模組，會看到已經由綠->黃-紅，觸發了報警




然後我們再來看看提供的webhook介面，這裡的介面我是用的golang寫的，接到資料後將body內容報警到釘釘


釘釘收到報警內容如下


到這裡，從零開始搭建Prometheus實現自動監控報警就說介紹完了，一條龍服務，自動抓取介面+自動報警+優雅的圖表展示，你還在等什麼，趕緊high起來！

相關推薦

從零搭建Prometheus監控報警系統

什麼是Prometheus? Prometheus是由SoundCloud開發的開源監控報警系統和時序列資料庫(TSDB)。Prometheus使用Go語言開發，是Google BorgMon監控系統的開源版本。2016年由Google發起Linux基金會旗下的原生雲基金會(Clou

從零搭建hadoop叢集之系統管理操作

1. 配置主機名 [root@hadoop01 ~]# hostname#顯示當前主機名 方法一：通過配置檔案/etc/hostname （重啟後生效）

從零開始搭建Prometheus+Grafana+AlertManager自動監控報警系統（非docker方式安裝：推薦）

一：前言 一個服務上線了後，你想知道這個服務是否可用，需要監控。假如線上出故障了，你要先於顧客感知錯誤，你需要監控。還有對資料庫，伺服器的監控，等等各層面的監控。近年來，微服務架構的流行，服務數越來越

【九圖流】從零開始設計一個登入系統（初中級）

說明： 無任何程式碼，只有設計思路。 範疇等級：初級開發、中級開發。 場景：中小型專案，內部專案。

spring boot從零搭建後臺基礎服務架構，包你看了不後悔

目前大多專案是前後端分離。在後臺介面服務開發過程中，往往我們需要先搭建一個基礎服務，比如登入註冊功能、自動對所有的介面進行token的安全校驗等，這樣可以防範安全問題的出現。並且這樣後續的同事可以只關注業務

從零搭建Spring Cloud Gateway閘道器（三）——報文結構轉換

背景 作為閘道器，有些時候可能報文的結構並不符合前端或者某些服務的需求，或者因為某些原因，其他服務修改報文結構特別麻煩、或者需要修改的地方特別多，這個時候就需要走閘道器單獨轉換一次。

zabbix搭建-服務監控報警與自動恢復

#zabbix部署參考 https://www.cnblogs.com/itbox/p/12142066.html #關閉防火牆 systemctl disable firewalld.service

從零搭建Spring Boot腳手架（2）：增加通用的功能

1. 前言 今天開始搭建我們的kono Spring Boot腳手架，首先會整合Spring MVC並進行定製化以滿足日常開發的需要，我們先做一些剛性的需求定製，後續再補充細節。如果你看了本文有什麼問題可以留言討論。多多持續關注，

從零搭建Spring Boot腳手架（3）：整合mybatis

1. 前言 今天繼續搭建我們的kono Spring Boot腳手架，上一文集成了一些基礎的功能，比如統一返回體、統一異常處理、快速型別轉換、引數校驗等常用必備功能，並編寫了一些單元測試進行驗證，今天把國內最流行的ORM框

從零搭建Spring Boot腳手架（4）：手寫Mybatis通用Mapper

1. 前言 今天繼續搭建我們的kono Spring Boot腳手架，上一文把國內最流行的ORM框架Mybatis也集成了進去。但是很多時候我們希望有一些開箱即用的通用Mapper來簡化我們的開發。我自己嘗試實現了一個，接下來我分享一下

從零搭建Spring Boot腳手架（6）：整合Redis作為快取

1. 前言 上一文我們整合了Mybatis Plus，今天我們會把快取也整合進來。快取是一個系統應用必備的一種功能，除了在減輕資料庫的壓力之外。還在儲存一些短時效的資料場景中發揮著重大作用，比如儲存使用者Token、簡訊

從零搭建Spring Boot腳手架整合OSS作為檔案伺服器的詳細教程

1. 前言 檔案伺服器是一個應用必要的元件之一。最早我搞過FTP，然後又用過FastDFS，接私活的時候我用MongoDB也湊合湊合。現如今時代不同了，開始流行起了OSS。

linux從零搭建Elasticsearch單機版安裝02

1.下載elasticsearch 安裝包，版本號為：elasticsearch-6.2.4 2.上傳到伺服器目錄/opt/package

從零開始部署圖書管理系統

1.建立虛擬機器centos7 建立虛擬機器的步驟就省略了 2.配置阿里雲的源 2.1備份所有repo

從零搭建Spring Boot的Hello World

場景介紹 本教程將使用IntelliJ IDEA搭建一個簡單Spring Boot專案，並將這個專案部署到阿里雲伺服器ECS上。

430【畢設課設】基於51微控制器水塔水箱水位液位WIFI監控報警系統

【資源下載】下載地址如下：https://docs.qq.com/doc/DTlRSd01BZXNpRUxl 51微控制器水塔水箱水位液位WIFI監控報警系統45本系統分為主機和從機兩部分組成。主機由STC89C52微控制器、液位感測器、WiFi模組及電源組成。

從零搭建SpringBoot2.X整合Redis框架的詳細教程

最近也不知道寫啥，看之前寫過Kafka整合Springboot的文章，大家反響還挺熱烈的，嘿嘿嘿，就感覺幫助到大家了還挺好的，也算是達到了自己的目的，正好，今天業務模組是springboot整合redis，因為之前做過，所以有現成

從零搭建hadoop叢集之CentOS7配置網絡卡為靜態IP

CentOS7預設網絡卡裝置檔案存放於 /etc/sysconfig/network-scripts/ CentOS7的網絡卡裝置名稱是 ifcfg-ens33

從零搭建hadoop叢集之安裝jdk

解除安裝系統自帶的OpenJDK以及相關的java檔案 1.查詢系統自帶的OpenJDK版本資訊

從零搭建hadoop叢集之mysql安裝

Linux RPM 方式安裝 MySQL在 hadoop02機器上 1、安裝新版mysql前，需將系統自帶的mariadb-lib解除安裝