apache kafka監控系列-KafkaOffsetMonitor
apache kafka中國社區QQ群:162272557
概覽
近期kafka server消息服務上線了，基於jmx指標參數也寫到zabbix中了。但總認為缺少點什麽東西。可視化可操作的界面。
zabbix中數據比較分散，不能集中看整個集群情況。
或者一個cluster中broker列表。自己寫web-console比較耗時耗力，用原型工具畫了一些管理界面東西，關鍵自己也不前端方面技術，這方面比較薄弱。這不開源社區提供了kafka的web管理平臺KafkaOffsetMonitor.就迅速拿過來執行。大家不要著急，立即娓娓道來。
說明：
這個應用程序來實時監控你kafka服務的consumer以及他們在partition中的offset(偏移)。
你能夠瀏覽當前的消費者組，每一個topic的全部partition的消費情況都能夠一覽無余。這事實上是非常實用得，從這裏你非常快知道每一個partition的message是否非常快被消費(沒有堵塞)。他能指導你(kafka producer和consumer)優化代碼。
這個web管理平臺保留的partition offset和consumer滯後的歷史數據，所以你能夠非常輕易了解這幾天consumer消費情況。
KafkaOffsetMonitor功能：
1.從標題都能夠看出來，Kafka Offset Monitor，是對consumer消費情況進行監控,並能列出每一個consumer offset,滯後數據。
2.消費者組列表
3.每一個topic的全部parition列表(topic,pid,offset,logSize,lag,owner)
4.查看topic的歷史消費信息.
盡管功能覆蓋面不全，可是非常有用。
1.下載
github官網下載KafkaOffsetMonitor
百度雲下載(網速快)
百度雲KafkaOffsetMonitor下載
說明:百度雲下載為改動版本號，由於KafkaOffsetMonitor中有些資源文件(css,js)是訪問外網的。特別是有訪問google資源，大家都懂的，常常不能訪問。
建議下載改動版
2.安裝
KafkaOffsetMonitor執行比較簡單，由於全部執行文件。資源文件，jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了，直接執行就能夠。這樣的方式太棒了。既不用編譯也不用配置，呵呵。也不是絕對不配置。
a.新建一個文件夾kafka-offset-console,然後把jar復制到該文件夾下.
b.新建腳本，由於您可能不是一個kafka集群。用腳本能夠啟動多個
[email protected]: vim mobile_start_en.sh
#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk 192.168.2.101:2181,192.168.2.102:2182,192.168.2.103:2181/config/mobile/xxx \
--port 8086 \
--refresh 10.seconds \
--retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &
註意:/config/mobile/xxx 表示zk的根文件夾,須要手工創建,也能夠不設置
3.執行
[email protected]: chmod +x mobile_start_en.sh
[email protected]: ./mobile_start_en.sh
serving resources from: jar:file:/opt/xxx/kafka-offset-console/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp
6 演示截圖：
消費者組列表
topic的全部partiton消費情況列表
以上圖中參數含義解釋例如以下：
topic：創建時topic名稱
partition：分區編號
offset：表示該parition已經消費了多少條message
logSize：表示該partition已經寫了多少條message
Lag：表示有多少條message沒有被消費。
Owner：表示消費者
Created：該partition創建時間
Last Seen：消費狀態刷新最新時間。
kafka正在執行的topic
kafka集群中topic列表
kafka集群中broker列表
請註明轉載自:http://blog.csdn.net/lizhitao/article/details/27199863
apache kafka監控系列-KafkaOffsetMonitor