1.概述

Kafka Eagle是一款開源的Kafka叢集監控系統，原始碼託管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已經統一更新為http://www.kafka-eagle.org/，之前的下載地址和官網使用手冊地址均已替換，例如http://download.smartloli.org/替換為http://download.kafka-eagle.org/，而使用手冊地址http://ke.smartloli.org/替換為https://docs.kafka-eagle.org/。今天，筆者就帶著大家來整體分析一下Kafka Eagle。

2.內容

Kafka Eagle迭代至今，以及集成了許多功能，例如：多叢集管理、Topic大小統計、Topic MBean監控、Kafka多版本相容、Flink消費者應用程式支援等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle設計的背景，有以下幾點原因：

• Apache Kafka官方沒有提供監控系統或是Web頁面，來視覺化Kafka叢集，這對管理和掌握Kafka的動態帶來極大的不方便，而開發者和運維人員無法及時把握Kafka的狀態，在定位分析一些問題的時候，會很不方便
• 已有的監控工具功能較少，對於現有的Kafka監控工具，功能較少，達不到想要的監控和管理效果
• 已有的監控工具使用難度較大，目前一些監控工具均需要自己編譯原始碼，而且在配置上很複雜，同時文件說明也沒有統一的規範，使用起來很不方便
• 告警支援不足，有些監控工具雖然支援郵件告警，但是，對於已有的IM支援比較欠缺，例如微信和釘釘的支援等

2.1.2 架構和核心模組

Kafka Eagle核心模組包含如下：

• 面板視覺化
• 主題管理，包含建立主題、刪除主題、主題列舉、主題配置、主題查詢等
• 消費者應用：對不同消費者應用進行監控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
• 叢集管理：包含對Kafka叢集和Zookeeper叢集的詳情展示，其內容包含Kafka啟動時間、Kafka埠號、Zookeeper Leader角色等。同時，還有多叢集切換管理，Zookeeper Client操作入口
• 叢集監控：包含對Broker、Kafka核心指標、Zookeeper核心指標進行監控，並繪製歷史趨勢圖
• 告警功能：對消費者應用資料積壓情況進行告警，以及對Kafka和Zookeeper監控度進行告警。同時，支援郵件、微信、釘釘告警通知
• 系統管理：包含使用者建立、使用者角色分配、資源訪問進行管理

Kafka Eagle架構組成如下所示：

• 視覺化：負責展示主題列表、叢集健康、消費者應用等
• 採集器：資料採集的來源包含Zookeeper、Kafka JMX & 內部Topic、Kafka API（這裡API針對Kafka 2.x以後的版本進行升級）
• 資料儲存：目前Kafka Eagle儲存採用MySQL或SQLite，資料庫和表的建立均是自動完成的，按照官方文件進行配置好，啟動Kafka Eagle就會自動建立，用來儲存元資料和監控資料
• 監控：負責見消費者應用消費情況（是否有資料積壓）、叢集健康狀態（叢集節點是否掉線）
• 告警：對監控到的異常進行告警通知，支援郵件、微信、釘釘等方式
• 許可權管理：對訪問使用者進行許可權管理，對於管理員、開發者、訪問者等不同角色的使用者，分配不用的訪問許可權

2.1.3 選擇Kafka Eagle有哪些好處

選擇Kafka Eagle有哪些好處呢？首先Kafka Eagle安裝使用非常方便，這也是Kafka Eagle設計的初衷之一；其次，Kafka Eagle提供了友好的使用者互動介面，以及豐富的功能支援。同時，對於使用過程中遇到的BUG和問題，可以在QQ群中進行諮詢以及在Github原始碼中提issues。總計如下：

• 簡單易用
• 功能豐富
• 專業支援（諮詢渠道多，實時諮詢Kafka Eagle專案作者進行解答）

2.1.4 後續工作

Kafka Eagle的後續工作，分為4個維度：

• 系統質量維度：持續優化Kafka Eagle系統，保證Kafka Eagle系統的使用質量
• 需求收集維度：調研並收集Kafka監控需求，同時修復Kafka Eagle在Github中issues問題
• 新功能開發維度：對於實際需求在Kafka Eagle中做新功能開發，來滿足使用者的實際需求
• 文件完善維度：對Kafka Eagle的官網使用手冊進行完善，保證使用者能夠閱讀規範的的使用手冊

3.新功能預覽

 在Kafka Eagle V1.3.4中對Flink消費者應用進行了優化，同時對歷史趨勢圖的繪製進行了優化，以及對展示主題列表和消費列表的邏輯進行優化。

4.文件整理

完善了Kafka Eagle的官方使用手冊（https://docs.kafka-eagle.org/），以及Kafka Eagle系統設計PDF文件（http://pdf.kafka-eagle.org/）。

5.總結

Kafka Eagle的安裝使用非常方便，如果在使用過程中遇到了問題，可以給筆者發郵件留言，或者直接在QQ群進行筆者。同時，也非常歡迎大家一起參與維護這個專案，在Github上提PR，或者issues。

6.結束語

這篇部落格就和大家分享到這裡，如果大家在研究學習的過程當中有什麼問題，可以加群進行討論或傳送郵件給我，我會盡我所能為您解答，與君共勉！

另外，博主出書了《Kafka並不難學》和《Hadoop大資料探勘從入門到進階實戰》，喜歡的朋友或同學， 可以在公告欄那裡點選購買連結購買博主的書進行學習，在此感謝大家的支援。關注下面公眾號，根據提示，可免費獲取書籍的教學視