1. 程式人生 > >快速構建業務監控體系,觀grafana監控的藝術

快速構建業務監控體系,觀grafana監控的藝術

  做一個系統,如果不做監控,是不完善的。

  如果為做一個快速系統,花力氣去做監控,是不值得的。(監控系統不是你想做,想做就能做的。)

 

  因此,我們有必要具備一個能夠快速建立監控體系的能力。即使你只是一個普通開發人員!(說不定明天就要叫你去領兵大操練呢)

 

個人覺得,做監控要有三個核心能力:

  1. 持續收集資料的能力; (時間序列資料庫)
  2. 監控結果視覺化的能力;
  3. 異常監控可報警的能力;

  只要把這三點做到了,那麼,這個監控基本就成功了。

 

  既然自己不方便做監控系統,那就只要做好框架選型就可以了。

  因grafana的圖表功能個人感覺最強大,我們就以 grafana 作為監控抓手點,建立自己的監控體系吧!

 

監控體系大體實現思路:

  1. 程式碼裡寫入埋點,或者其他系統通過探針之類的工具實現資料來源;
  2. 監控資料中心接收埋點資料等指標資料集;
  3. 監控中心提供各種維度資料的計算彙總指標;
  4. 自定義圖表展現;
  5. 根據結果設定報警;

 

具體開啟方法:

  1. 寫程式碼新增埋點;
  2. 使用jmx採集工具採集資料;
  3. 安裝 prometheus, 配置好要呼叫的客戶端;
  4. 安裝grafana;
  5. 配置 prometheus 的資料來源到 grafana 上;
  6. 新增 grafana 監控圖表;

  7. 配置監控報警(一般你需要先配置linux郵件設定);

 

所以,看下具體怎麼做吧,涉及到安裝的部分就順帶過吧,畢竟其他地方,此類資訊已經氾濫了!

 

1. 擼埋點程式碼(jmx)

  .1 引入依賴包

        <!-- jmx 埋點依賴 -->
        <dependency>
            <groupId>io.dropwizard.metrics</groupId>
            <artifactId>metrics-core</artifactId>
            <version>4.0.0</version>
        </dependency>
        <dependency>
            <groupId>io.dropwizard.metrics</groupId>
            <artifactId>metrics-jmx</artifactId>
            <version>4.0.0</version>
        </dependency>

  .2 封裝指標上報工具類

import com.codahale.metrics.Meter;
import com.codahale.metrics.MetricRegistry;
import com.codahale.metrics.jmx.JmxReporter;
import org.springframework.stereotype.Component;

/**
 * 系統指標管理管理器實現類
 *
 */
@Component
public class SystemMetricsManagerImpl implements SystemMetricsManager {

    private static final MetricRegistry metricsContainer = new MetricRegistry();

    static {
        JmxReporter jmxReporter = JmxReporter.forRegistry(metricsContainer).build();
        jmxReporter.start();
    }

    @Override
    public Meter registerAndGetMetricMeter(String meterName) {
        return metricsContainer.meter(meterName);
    }
}

  .3 在需要的地方新增埋點

    // 在必要的地方,進行集中初始化
    @Override
    public void afterPropertiesSet() throws Exception {
        consumeCounterHolder = new ConsumeCounterHolder();
        consumeCounterHolder.initCounter();
    }

    /**
     * 計數器容器例項
     */
    private ConsumeCounterHolder consumeCounterHolder;

    /**
     * 消費計數器容器,作為內部封裝,如覺得不爽,也可以抽離為獨立物件隔離
     */
    class ConsumeCounterHolder {

        /**
         * 所有消費計數器
         */
        private Meter totalConsumeCounter;

        /**
         * 被拋棄的消費計數器
         */
        private Meter msgDiscardConsumeCounter;

        /**
         * 系統異常消費計數器
         */
        private Meter systemExceptionConsumeCounter;

        /**
         * 業務消費失敗,回滾計數器 (一般不會存在值)
         */
        private Meter processFailedConsumeCounter;

        /**
         * 停止消費計數器
         */
        private Meter listenerStoppedConsumeCounter;

        /**
         * 未知型別消費數計數器
         */
        private Meter unknownTypeConsumeCounter;

        /**
         * 初始化計數器
         */
        public void initCounter() {
            totalConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.TOTAL_COUNT_METRIC_NAME);
            msgDiscardConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.DISCARD_COUNT_METRIC_NAME);
            systemExceptionConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.SYSTEM_EXCEPTION_COUNT_METRIC_NAME);
            processFailedConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.PROCESS_FAILED_COUNT_METRIC_NAME);
            listenerStoppedConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.LISTENER_STOPPED_COUNT_METRIC_NAME);
            unknownTypeConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.UNKNOWN_TYPE_COUNT_METRIC_NAME);
        }

        /**
         * 增加消費計數
         */
        private void incTotalConsumeCounter() {
            totalConsumeCounter.mark();
        }
        public void incMsgDiscardConsumeCounter() {
            msgDiscardConsumeCounter.mark();
        }
        public void incSystemExceptionConsumeCounter() {
            systemExceptionConsumeCounter.mark();
        }
        public void incProcessFailedConsumeCounter() {
            processFailedConsumeCounter.mark();
        }
        public void incListenerStoppedConsumeCounter() {
            listenerStoppedConsumeCounter.mark();
        }
        public void incUnknownTypeConsumeCounter() {
            unknownTypeConsumeCounter.mark();
        }
    }

    /**
     * 業務方法中,呼叫埋點
     *
     */
    public void doSth() {
        // 新增各種埋點
        consumeCounterHolder.incTotalConsumeCounter();
    }

 

2. 使用jmx採集工具採集資料 (prometheus)

  prometheus 作為流行的監控元件,可以很方便的接入 jmx 資料, 使用 jmxReporter 就可以了。

  prometheus 專案地址: https://github.com/prometheus

  jmxReporter 專案地址: https://github.com/prometheus/jmx_exporter

  下載 jmxReporter agent: https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.11.0/jmx_prometheus_javaagent-0.11.0.jar

  新增最簡單的配置檔案,採集所有jmx資料:

# vim config.yaml
---
rules:
- pattern: ".*"

  最後,啟動 jmxReporter, 提供採集依據:

    java -javaagent:./jmx_prometheus_javaagent-0.11.0.jar=9088:config.yaml -jar yourJar.jar

  注: jmxReporter 的原理其實是開啟一個http的socket埠,在外部請求進來之後,進行訪問jmx資料進行返回。

 

3. 安裝prometheus服務端,進行主動資料採集

  .1 下載: https://prometheus.io/download/ , 找到對應版本下載即可;
  .2 直接啟動驗證下: ./prometheus --config.file=prometheus.yml --web.enable-admin-api
  .3 向 prometheus 中新增客戶端機器地址,以便採集,我們只使用一種簡單的獨立檔案的配置方式:

# 1. 直接在檔案末尾新增job即可
  - job_name: 'jmx'

    file_sd_configs:
    - files:
      - conf.d/test.json

# 2. 在 conf.d/test.json 中,新增相應的客戶端機器ip
[
    {
        "targets": ["10.1.1.1:9088"]
    },{
        "targets": ["10.1.1.2:9088"]
    },{
        "targets": ["10.1.1.3:9088"]
    }
]

 

  .4 重啟 prometheus

    kill -9 xxx
    ./prometheus --config.file=prometheus.yml --web.enable-admin-api

  如此, prometheus 的資料庫中就已經有 你的埋點資料了!

 

4. 安裝 grafana

  .1 下載地址: https://grafana.com/get
  .2 可以直接使用映象源安裝,也可以使用原始碼包自行編譯;
  .3 啟動 grafana 服務: service grafana-server start
  .4 你就可以開啟 grafana 後臺進行查看了(預設賬號密碼是 admin/admin);

 

5. 新增 prometheus 作為 grafana 的資料來源

  grafana 支援很多資料來源的接入,但是 prometheus 是比較簡單的一種;

  在設定 -> DataSources 中,新增 prometheus 的資料,按要求填寫即可,一般只需要填寫一個 prometheus 的請求地址就可以了。

  

6. 新增 grafana 監控圖表;

  直接點選 + 號,新增一個大盤;

  然後就是各種頁面拖拉拽!

  拿幾個需要注意的指標統計說明下:

# case1. 程式碼中的埋點為一個遞增的值,我想知道每段時間的增長趨勢是怎麼樣的?如: 1分鐘 
    increase(metrics_test_mq_consume_total_Count[1m])
# case2. 在叢集環境中,以上統計將是所有機器的總和,我想檢視單個機器的增長趨勢?
    increase(metrics_test_mq_consume_total_Count{instance=~"$instance_cust"}[1m])    # 其中 instance_cust 是定義在監控大盤上的自定義變數,其作用是 當前監控的例項的標識, 稍後我們看下例項
# case3. 我想知道下當前機器的cpu負載
    avg_over_time(java_lang_OperatingSystem_SystemCpuLoad{instance=~"$instance_cust"}[1m]) * 100
# case4. 我想檢視當前機器的實體記憶體情況
    java_lang_OperatingSystem_FreePhysicalMemorySize{instance=~"$instance_cust"}
    java_lang_OperatingSystem_TotalPhysicalMemorySize{instance=~"$instance_cust"}
# case5. 我想檢視jvm的記憶體情況 
    java_lang_Memory_HeapMemoryUsage_max{instance=~"$instance_cust"}
    java_lang_Memory_HeapMemoryUsage_used{instance=~"$instance_cust"}
    
    # 附: 新增大盤 通用變數
    label_values(up{job='jmx'}, instance) 將會查詢符合過濾條件的標籤
    

 

  附: 新增大盤 通用變數

  label_values(up{job='jmx'}, instance) 將會查詢符合過濾條件的標籤

 

7. 配置監控報警(一般你需要先配置linux郵件設定);

  以上都配置好之後,還可以進行報警配置。

  alerting -> Notification Channels 中,新增告警通知通道。

  然後,在原來的大盤中選擇一個指標進行報警設定;然後就可以接收告警了。

 

  當然,這裡選擇郵件,需要linux系統直接使用 mail 進行傳送郵件才行。

  

   如此,一個完整的監控鏈完成!

 

老話: 願你戎馬半生,歸來仍是少