1. 程式人生 > >7、kafka監控-kafkaOffsetMonitor

7、kafka監控-kafkaOffsetMonitor

轉載自:http://blog.csdn.net/gongxinju/article/details/73277395

1、kafkaOffsetmonitor簡述

 KafkaOffsetMonitor是有由Kafka開源社群提供的一款Web管理介面,這個應用程式用來實時監控Kafka服務的Consumer以及它們所在的Partition中的Offset,你可以通過瀏覽當前的消費者組,並且每個Topic的所有Partition的消費情況都可以觀看的一清二楚。它讓我們很直觀的知道,每個Partition的Message是否消費掉,有木有阻塞等等。 
  
  這個Web管理平臺保留的Partition、Offset和它的Consumer的相關歷史資料,我們可以通過瀏覽Web管理的相關模組,清楚的知道最近一段時間的消費情況。

  該Web管理平臺有以下功能:

  • 對Consumer的消費監控,並列出每個Consumer的Offset資料
  • 保護消費者組列表資訊
  • 每個Topic的所有Partition列表包含:Topic、Pid、Offset、LogSize、Lag以及Owner等等
  • 瀏覽查閱Topic的歷史消費資訊

這些功能對於我們開發來說,已經綽綽有餘了。

2、KafkaOffsetMonitor安裝部署

2.2、部署 
KafkaOffsetMonitor的安裝部署較為簡單,所有的資源都打包到一個JAR檔案中了,因此,直接執行即可,省去了我們去配置。這裡我們可以新建一個目錄單獨用於Kafka的監控目錄,我這裡新建一個kafka_monitor檔案目錄,然後我們在準備啟動指令碼,指令碼內容如下所示:

#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
 com.quantifind.kafka.offsetapp.OffsetGetterWeb \
 --zk 192.168.174.137:2181 \
 --port 8089 \
 --refresh 10.seconds \
 --retain 1.days


2.3、啟動指令碼 


3、KafkaOffsetMonitor執行預覽 





4、總結 
圖中的一些引數的含義如下:

  • Topic:建立Topic名稱
  • Partition:分割槽編號
  • Offset:表示該Parition已經消費了多少Message
  • LogSize:表示該Partition生產了多少Message
  • Lag:表示有多少條Message未被消費
  • Owner:表示消費者
  • Created:表示該Partition建立時間