安裝kafka 叢集 步驟
1.下載
http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
2.解壓
tar -zxvf kafka_2.11-2.1.0.tgz
3.建立兩份配置檔案
cd conf
cp server.properties server1.properties
cp server.properties server2.properties
4.建立兩個log目錄
cd logs
mkdir log1 log2
5.編輯配置檔案
編輯 server1.properties,server2.properties
主要修改點
#broker id 在叢集中必須唯一
broker.id=1
#監聽埠
listeners=PLAINTEXT://:9001
#topic 分割槽數量
num.partitions=5
# 資料儲存目錄
log.dirs=/home/kafka/kafka_2.12-2.1.0/logs/log1
# zookpeer 配置
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
兩個檔案不同的地方
broker.id,listeners,log.dirs
6.啟動kafka叢集
./bin/kafka-server-start.sh -daemon config/server1.properties
./bin/kafka-server-start.sh -daemon config/server2.properties
7.驗證叢集
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic my-topic
建立一個my-topic 的 topic
副本為1
分割槽數為5
例項1
例項2
可以看到兩個例項,一個例項上有3個分割槽,一個為兩個分割槽。