1. 程式人生 > >kafka叢集安裝與使用

kafka叢集安裝與使用

kafaka中的名詞:
Broker:安裝kafka服務大那臺機器就是一個broker (id要唯一)

Producer:訊息的生產者,負責將資料寫入到broker中(push)

Consumer:訊息的消費者,負責從kafka中讀取資料(pull),老版本
的消費者依賴zk,新版本的不需要

Topic:主題,相當於是資料的一個分類,不同topic存放不同的資料

Consumer Group:消費者組,一個topic可以有多個消費者同時消費,多個消費者
多個消費者如果在同一個消費組中不用重複消費


kafka叢集安裝

1、下載解壓安裝包
2、配置檔案(sercer.propertise)
broker.id=0
host.name 監聽地址
log.dir = 
zookeeper.connect = {}:2181
		zookeeper.connect
5.將配置好的kafka拷貝到其他機器上
6、修改broker.id 和 host.name

啟動kafka

(啟動指令碼)/usr/local/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh
(守護程序)-daemon
(配置檔案)/usr/local/kafka_2.11-0.8.2.2/config/server.properties

往kafka寫入命令
#檢視topic資訊
/bigdata/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --list --zookeeper node-1:2181,node-2:2181

#建立topic
kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 3 --partitions 3 --topic yuan

#往Kafka的topic中寫入資料(命令列的生成者)
kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic yuan

#啟動消費者
kafka-console-consumer.sh --zookeeper node1:2181,node2:2181,node3:2181 --topic yuan --from-beginning

topic資訊是儲存在zookeeper中的