kafka eagle安裝與使用
1.概述
在開發工作當中,在使用 Kafka 叢集進行訊息的生產和消費時,資料的變動以及topic的管理是我們所關心的內容,這就要求一套行之有效的監控管理體系。常見的kafka監控軟體有4種如下所示
Kafka Web Conslole :監控功能較為全面,可以預覽訊息,監控Offset、Lag等資訊,但存在bug,不建議在生產環境中使用。 Kafka Manager:偏向Kafka叢集管理,若操作不當,容易導致叢集出現故障。對Kafka實時生產和消費訊息是通過JMX實現的。沒有記錄Offset、Lag等資訊。 KafkaOffsetMonitor:程式一個jar包的形式執行,部署較為方便。只有監控功能,無管理功能,使用起來也較為安全。 Kafka Eagle:用於監控 Kafka 叢集中 Topic 被消費的情況。包含 Lag 的產生,Offset 的變動,Partition 的分佈,Owner ,Topic 被建立的時間和修改的時間等資訊。同時可以對topic進行管理。 [ Kafka Eagle下載地址 ]
2.Kafka Eagle使用配置
將下載好的Kafka Eagle壓縮包FTP至伺服器並解壓。筆者使用的是1.1.3版本,在1.1.4版本中添加了系統許可權管理,需要配置mysql來儲存資訊。
1.進入Kafka Eagle目錄,進入conf目錄修改system-config.properties配置檔案內容如下
# multi zookeeper&kafka cluster list kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=10.8.120.25:2181 # zk limit kafka.zk.limit.size=25 # kafka eagel webui port kafka.eagel.webui.port=8048 # kafka offset storage kafka.eagle.offset.storage=kafka # kafka rpc port kafka.eagle.offset.rpc.port=4396 # Delete kafka topic token kafka.eagle.topic.token=cas.kafkaeagle 2.進入Kafka Eagle目錄,進入bin目錄
chmod +x ke.sh ./ke.sh start 3.輸入http://ip:8048/ke/,當進入以下介面,說明配置成功
4.然後就可以進行管理了
3.總結
Kafka Eagle 的安裝與使用都很簡介,需配置好 Kafka 叢集所屬的 Zookeeper 叢集地址。本文參考資料如下:
[ 哥不是小蘿莉 的部落格園 ] [ Kafka Eagle 使用說明文件 ]
4.結語 本文由筆者自行編寫,如有錯誤,還請諸位同仁指正。 --------------------- 作者:Smile瀟灑Tel 來源:CSDN 原文:https://blog.csdn.net/whg18526080015/article/details/73642241?utm_source=copy 版權宣告:本文為博主原創文章,轉載請附上博文連結!