1. 程式人生 > >使用docker安裝kafka

使用docker安裝kafka

1. 啟動zookeeper容器

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

2. 啟動kafka容器

docker run  -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \ 
-e KAFKA_ZOOKEEPER_CONNECT=192.168.204.128:2181 \ 
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.204.128:9092 \
-e KAFKA_LISTENERS
=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

這裡面主要設定了4個引數

KAFKA_BROKER_ID=0               
KAFKA_ZOOKEEPER_CONNECT=192.168.204.128:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.204.128:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

中間兩個引數的192.168.204.128改為宿主機器的IP地址,如果不這麼設定,可能會導致在別的機器上訪問不到kafka。

3. 測試kafka

進入kafka容器的命令列

docker exec -ti kafka /bin/bash

進入kafka所在目錄

cd opt/kafka_2.12-1.1.0/

4. 叢集搭建

使用docker命令可快速在同一臺機器搭建多個kafka,只需要改變brokerId和埠

docker run -d --name kafka1 \
-p 9093:9093 \
-e KAFKA_BROKER_ID=1 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.204.128:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT
://192.168.204.128:9093 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

5. 建立Replication為2,Partition為2的topic

在kafka容器中的opt/kafka_2.12-1.1.0/目錄下輸入

bin/kafka-topics.sh --create --zookeeper 192.168.204.128:2181 --replication-factor 2 --partitions 2 --topic partopic

6. 檢視topic的狀態

在kafka容器中的opt/kafka_2.12-1.1.0/目錄下輸入

bin/kafka-topics.sh --describe --zookeeper 192.168.204.128:2181 --topic partopic

輸出結果:

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0,1
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0,1

顯示每個分割槽的Leader機器為broker0,在broker0和1上具有備份,Isr代表存活的備份機器中存活的。
當停掉kafka1後,

docker stop kafka1

再檢視topic狀態,輸出結果:

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0