1. 程式人生 > >kafka入門筆記

kafka入門筆記

//下載上傳伺服器解壓   //修改配置檔案server.properties
broker.id=1
log.dirs= /usr/kafka_2.10-0.8.2.1/data  //最後不要寫og
zookeeper.connect=master:2181,slave01:2181,slave02:2181
delete.topic.enable = true //刪除話題的時候需要設定其為true
num.partitions=3//建議預設3個分割槽,如果AIP裡面你的分割槽數大於系統規定的則丟擲異常 //分發給其他兩臺伺服器,每臺機器的broker.id必須唯一
//配置環境變數 //啟動。   指定啟動的配置檔案,  輸出到run_data目錄, 2>&1所有正確錯誤的都輸出,   &後臺執行               
kafka-server-start.sh $KAFKA_HOME/config/server.properties >>$KAFKA_HOME/run_data 2>&1 & //建立話題    zookeeper叢集中任意一個主機都可以
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic topic1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 3 --topic topic2 //話題描述清單
kafka-topics.sh --describe --zookeeper slave01:2181 --topic topic1 //傳送訊息(生產者)
//輪循寫入分割槽,即012 012 012
//第一次開啟生產者是寫入0分割槽,退出後,第二次開啟生產者寫入1分割槽
kafka-console-producer.sh --broker-list localhost:9092 --topic topic2
//2)當前broker(節點)沒有kafka服務時,需要指定一個有kafka服務的broker(zookeeper叢集中任意一個),
kafka-console-producer.sh --broker-list slave02:9092 --topic topic2 //接收佇列訊息(消費者)
kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic2 --from-beginning //刪除話題
kafka-topics.sh --delete --zookeeper \localhost:2181 --topic topic1 //檢視話題
kafka-topics.sh --list --zookeeper localhost:2181