kafka安裝&啟動&停止
- 安裝
1、1 下載最新的版本並解壓
> tar -zxvf kafka_2.11-0.9.0.0.tgz -C /usr/local/kafka_2.11-0.9.0.0
> cd /usr/local/kafka_2.11-0.9.0.0
- 啟動服務
Kafka用到了Zookeeper,所有首先啟動Zookper,下面簡單的啟用一個單例項的Zookkeeper服務。可以在命令的結尾加個&符號,這樣就可以啟動後離開控制檯。
(1) 啟動zookeeper服務
> bin/zookeeper-server-start.sh config/zookeeper.properties &
(2) 啟動kafka服務
> bin/kafka-server-start.sh config/server.properties &
(3 ) 建立topic
建立一個叫做“test”的topic,它只有一個分割槽(partition),一個副本(replica)。
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
可以通過list命令檢視建立的topic
> bin/kafka-topics.sh --list --zookeeper localhost:2181
除了手動建立topic,還可以配置broker讓它自動建立topic.
- 傳送訊息
Kafka 使用一個簡單的命令列producer,從檔案中或者從標準輸入中讀取訊息併發送到服務端。預設的每條命令將傳送一條訊息。
執行producer並在控制檯中輸一些訊息,這些訊息將被髮送到服務端:
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
- 啟動consumer
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message
停止服務的順序相反,都有指令碼,注意使用即可。
- 搭建叢集
- 搭建一個多個broker的叢集
現在啟動有3個broker組成的叢集,這些broker節點也都是在本機上的:
首先為每個節點編寫配置檔案:
> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties
在拷貝出的新檔案中新增以下引數:
broker.id在叢集中唯一的標註一個節點,因為在同一個機器上,所以必須制定不同的埠和日誌檔案,避免資料被覆蓋。
現在啟動這兩個節點:
> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &
...
建立一個擁有3個副本的topic(一個分割槽):
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
現在我們搭建了一個叢集,怎麼知道每個節點的資訊呢?執行“"describe topics”命令就可以了:
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
下面解釋一下這些輸出。第一行是對所有分割槽的一個描述,然後每個分割槽都會對應一行,因為我們只有一個分割槽所以下面就只加了一行。
leader:負責處理訊息的讀和寫,leader是從所有節點中隨機選擇的.
replicas:列出了所有的副本節點,不管節點是否在服務中.
isr:是正在服務中的節點.
- 測試
在我們的例子中,節點1是作為leader執行。
向topic傳送訊息:
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
...
my test message 1
my test message 2
^C
消費這些訊息:
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C
測試一下容錯能力.Broker 1作為leader執行,現在我們kill掉它:
> ps | grep server-1.properties
7564 ttys002 0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java...
> kill -9 7564
另外一個節點被選做了leader,node 1 不再出現在 in-sync 副本列表中:
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0
雖然最初負責續寫訊息的leader down掉了,但之前的訊息還是可以消費的:
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
...
my test message 1
my test message 2
^C
(7) kafka匯入匯出
- 刪除topic節點
kafka刪除topic方法
1) kafka-topics.sh --delete --zookeeper host:port --topic topicname
2) 刪除kafka儲存目錄(server.properties檔案log.dirs配置,預設為"/tmp/kafka-logs")相關topic目錄刪除zookeeper "/brokers/topics/"目錄下相關topic節點