1. 程式人生 > >zookeeper kafka

zookeeper kafka

zookeeper kafka

zookeeper 安裝

1 禁用防火墻和 selinux
2 設置 /etc/hosts ip 主機名對應關系
3 安裝 openjdk

zookeeper 角色,選舉
leader 集群主節點
follower 參與選舉的附屬節點
observer 不參與選舉的節點,同步 leader 的命名空間

1 拷貝配置文件
/usr/local/zookeeper/conf/zoo_sample.cfg 到
/usr/local/zookeeper/conf/zoo.cfg

2 修改配置文件
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888
server.4=zk4:2888:3888:observer

3 創建目錄 zookeeper 配置文件裏面的 dataDir 指定的目錄
4 在目錄下創建 myid 文件,寫入自己的 id 值
5 啟動集群,查看角色
/usr/local/zookeeper/bin/zkServer.sh start
/usr/local/zookeeper/bin/zkServer.sh status

kafka 集群安裝
1 禁用防火墻和 selinux
2 設置 /etc/hosts ip 主機名對應關系
3 安裝 openjdk
4 安裝 kafka 到 /usr/local/kafka
5 修改配置文件 config/server.properties
broker.id= id值不能相同
zookeeper.connect=zk1:2181,zk4:2181

啟動 kafka
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

驗證:
jps 能看到 kafka
netstat 能看到 9092 被監聽

創建主題
bin/kafka-topics.sh --create --zookeeper zk4:2181 --replication-factor 1 --partitions 1 --topic nsd1703

查看顯示已存在的主題
bin/kafka-topics.sh --list --zookeeper zk4:2181

查看主題的詳細信息

bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181 --topic nsd1703

生存者發布信息
bin/kafka-console-producer.sh --broker-list zk1:9092,zk3:9092 --topic nsd1703

消費者消費信息
bin/kafka-console-consumer.sh --zookeeper zk1:2181,zk2:2181 --topic nsd1703 --from-beginning
bin/kafka-console-consumer.sh --bootstrap-server zk1:9092,zk4:9092 --topic nsd1703

from-beginning 是從頭開始消費消息

zookeeper kafka