1. 程式人生 > >安裝部署Kafka叢集

安裝部署Kafka叢集

kafka是一個開源的分散式訊息訂閱系統(訊息中介軟體)

安裝過程

1.下載kafka_2.11-0.10.1.0.gz(ps:千萬不要下錯了,博主就是下到了src檔案上去了,kafka中的zookeeper起不起來)

2.上傳至/usr/local/src

3.解壓縮,並且移動到上級目錄

4.進入主目錄的config子目錄,

5.修改server.properties配置檔案

vim server.properties

內容如下:

6.儲存並退出

7.主節點配置完畢,遠端複製到另外兩個節點

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local
scp 
-r /usr/local/kafka_2.11-0.10.1.0 guoyansi130:/usr/local

8.修改另外兩個節點的server.properties 配置檔案

修改內容分別如下:

主機:guoyansi129  

############################# Server Basics #############################
broker.id=1
host.name=guoyansi129

主機guoyansi130

############################# Server Basics #############################
broker.
id=2 host.name=guoyansi130

 9.啟動kafka的zookeeper服務

bin/zookeeper-server-start.sh config/zookeeper.properties

顯示一些資訊後;介面進入停頓狀態;表示zookeeper啟動成功;此時不要關閉視窗;

10.啟動主節點的kafka服務

新開一個guoyansi128終端;

bin/kafka-server-start.sh config/server.properties

由於Kafka是作為守護程序載入的,執行上述命令後終端顯示停頓狀態,這表示系統已經處於後臺執行狀態,

所以不要關閉該終端,只要保持當前狀態即可。

還可以另外開一個終端,執行jps檢視當前系統的程序列表

這裡的QuorumPeerMain就是Kafka自帶的zookeeper服務程序;

而kafka自然就是Kafka服務程序。

11.啟動另外兩個節點的Kafka服務;執行同樣的命令:

bin/kafka-server-start.sh config/server.properties

12.主節點建立主題:

使用kafka,一定需要建立訊息主題;

建立test主題

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test

檢視主題訊息:

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181

 

 13.另起終端建立訊息生產者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test

介面處於等待狀態

14.另起終端建立訊息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning

此時介面同樣處於等待狀態

15.從13步的介面(生產者介面)輸入資訊,就會從14步(接收者介面)看到生產者介面輸入的資訊。

16.檢視主題中的資訊:

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test