kafka manger最方便的安裝教程,與cdh中的kafka絕配
一、kafka-manager 功能簡介
1.管理多個kafka叢集
2.便捷的檢查kafka叢集狀態(topics,brokers,備份分佈情況,分割槽分佈情況)
3.選擇你要執行的副本
4.基於當前分割槽狀況進行
5.可以選擇topic配置並建立topic(0.8.1.1和0.8.2的配置不同)
6.刪除topic(只支援0.8.2以上的版本並且要在broker配置中設定delete.topic.enable=true)
7.Topic list會指明哪些topic被刪除（在0.8.2以上版本適用）
8.為已存在的topic增加分割槽
9.為已存在的topic更新配置
10.在多個topic上批量重分割槽
11.在多個topic上批量重分割槽(可選partition broker位置)
二、安裝
1. 環境要求
1.安裝jdk8 jdk-1.8.0_60 2，kafka叢集 伺服器： 10.0.0.50:12181 10.0.0.60:12181 10.0.0.70:12181 軟體： kafka_2.8.0-0.8.1.1 zookeeper-3.3.6 3.系統 Linux kafka50 2.6.32-642.el6.x86_64 #1 SMP Tue May 10 17:27:01 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
2. 下載安裝 kafka-manager
2.1 .下載kafka-manager
想要檢視和管理Kafka，完全使用命令並不方便，我們可以使用雅虎開源的Kafka-manager，GitHub地址如下：
我們可以使用Git或者直接從Releases中下載，此處從下面的地址下載 1.3.3.7 版本：
下載完成後解壓。
注意：上面下載的是原始碼，下載後需要按照後面步驟進行編譯。如果覺得麻煩，可以直接從下面地址下載編譯好的 kafka-manager-1.3.3.7.zip。 連結：https://pan.baidu.com/s/1qYifoa4 密碼：el4o
2.2.解壓
unzip kafka-manager-1.3.3.7.zip -d /data/ cd /data/kafka-manager-1.3.3.7
2.3.修改配置 conf/application.properties
[[email protected] conf]# pwd /data/kafka-manager-1.3.3.7/conf [[email protected] conf]# ls application.conf consumer.properties logback.xml logger.xml nohup.out routes 編輯配置檔案application.conf #kafka-manager.zkhosts="localhost:2181" ##註釋這一行，下面新增一行 kafka-manager.zkhosts="10.0.0.50:12181,10.0.0.60:12181,10.0.0.70:12181"
2.4啟動
bin/kafka-manager kafka-manager 預設的埠是9000，可通過 -Dhttp.port，指定埠; -Dconfig.file=conf/application.conf指定配置檔案: nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &
啟動過程：
View Code
啟動完畢後可以檢視埠是否啟動，由於啟動過程需要一段時間，埠起來的時間可能會延後。
3.瀏覽器訪問
使用ip地址：埠訪問
三、測試 kafka-mamager
1. 新建 Cluster
點選【Cluster】>【Add Cluster】開啟如下新增叢集的配置介面：
輸入叢集的名字（如Kafka-Cluster-1）和 Zookeeper 伺服器地址（如localhost:2181），選擇最接近的Kafka版本（如0.8.1.1）
注意：如果沒有在 Kafka 中配置過 JMX_PORT，千萬不要選擇第一個複選框。 Enable JMX Polling 如果選擇了該複選框，Kafka-manager 可能會無法啟動。
其他broker的配置可以根據自己需要進行配置，預設情況下，點選【儲存】時，會提示幾個預設值為1的配置錯誤，需要配置為>=2的值。提示如下。
新建完成後，執行介面如下：
TOPIC list
broker
三、管理 kafka-mamager
3.1.新建主題
點選【Topic】>【Create】可以方便的建立並配置主題。如下顯示。
接下來我們根據一張圖講解
在上圖一個Kafka叢集中，有兩個伺服器，每個伺服器上都有2個分割槽。P0,P3可能屬於同一個主題，也可能是兩個不同的主題。 如果設定的Partitons和Replication Factor都是2，這種情況下該主題的分步就和上圖中Kafka叢集顯示的相同，此時P0,P3是同一個主題的兩個分割槽。P1,P2也是同一個主題的兩個分割槽，Server1和Server2其中一個會作為Leader進行讀寫操作，另一個通過複製進行同步。 如果設定的Partitons和Replication Factor都是1，這時只會根據演算法在某個Server上建立一個分割槽，可以是P0~4中的某一個（分割槽都是新建的，不是先存在4個然後從中取1個）。
這裡我們都設定為2，點選【Create】然後進入建立的這個主題，顯示如下。
3.2.檢視主題
點選【topic】下面的主題名稱，即可檢視主題
