kafka叢集安裝與使用
kafaka中的名詞:
Broker:安裝kafka服務大那臺機器就是一個broker (id要唯一)
Producer:訊息的生產者,負責將資料寫入到broker中(push)
Consumer:訊息的消費者,負責從kafka中讀取資料(pull),老版本
的消費者依賴zk,新版本的不需要
Topic:主題,相當於是資料的一個分類,不同topic存放不同的資料
Consumer Group:消費者組,一個topic可以有多個消費者同時消費,多個消費者
多個消費者如果在同一個消費組中不用重複消費
kafka叢集安裝
1、下載解壓安裝包 2、配置檔案(sercer.propertise) broker.id=0 host.name 監聽地址 log.dir = zookeeper.connect = {}:2181 zookeeper.connect 5.將配置好的kafka拷貝到其他機器上 6、修改broker.id 和 host.name
啟動kafka
(啟動指令碼)/usr/local/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh
(守護程序)-daemon
(配置檔案)/usr/local/kafka_2.11-0.8.2.2/config/server.properties
往kafka寫入命令
#檢視topic資訊
/bigdata/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --list --zookeeper node-1:2181,node-2:2181
#建立topic
kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 3 --topic yuan
#往Kafka的topic中寫入資料(命令列的生成者)
kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic yuan
#啟動消費者
kafka-console-consumer.sh --zookeeper node1:2181,node2:2181,node3:2181 --topic yuan --from-beginning
topic資訊是儲存在zookeeper中的