安裝部署Kafka叢集
阿新 • • 發佈:2018-11-15
kafka是一個開源的分散式訊息訂閱系統(訊息中介軟體)
安裝過程
1.下載kafka_2.11-0.10.1.0.gz(ps:千萬不要下錯了,博主就是下到了src檔案上去了,kafka中的zookeeper起不起來)
2.上傳至/usr/local/src
3.解壓縮,並且移動到上級目錄
4.進入主目錄的config子目錄,
5.修改server.properties配置檔案
vim server.properties
內容如下:
6.儲存並退出
7.主節點配置完畢,遠端複製到另外兩個節點
scp -r /usr/local/kafka_2.11-0.10.1.0 guoyansi129:/usr/local scp-r /usr/local/kafka_2.11-0.10.1.0 guoyansi130:/usr/local
8.修改另外兩個節點的server.properties 配置檔案
修改內容分別如下:
主機:guoyansi129
############################# Server Basics ############################# broker.id=1 host.name=guoyansi129
主機guoyansi130
############################# Server Basics #############################broker.id=2 host.name=guoyansi130
9.啟動kafka的zookeeper服務
bin/zookeeper-server-start.sh config/zookeeper.properties
顯示一些資訊後;介面進入停頓狀態;表示zookeeper啟動成功;此時不要關閉視窗;
10.啟動主節點的kafka服務
新開一個guoyansi128終端;
bin/kafka-server-start.sh config/server.properties
由於Kafka是作為守護程序載入的,執行上述命令後終端顯示停頓狀態,這表示系統已經處於後臺執行狀態,
所以不要關閉該終端,只要保持當前狀態即可。
還可以另外開一個終端,執行jps檢視當前系統的程序列表
這裡的QuorumPeerMain就是Kafka自帶的zookeeper服務程序;
而kafka自然就是Kafka服務程序。
11.啟動另外兩個節點的Kafka服務;執行同樣的命令:
bin/kafka-server-start.sh config/server.properties
12.主節點建立主題:
使用kafka,一定需要建立訊息主題;
建立test主題
bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test
檢視主題訊息:
bin/kafka-topics.sh --list --zookeeper guoyansi128:2181
13.另起終端建立訊息生產者
bin/kafka-console-producer.sh --broker-list guoyansi128:9092 --topic test
介面處於等待狀態
14.另起終端建立訊息接收者
bin/kafka-console-consumer.sh --zookeeper guoyansi128:2181 --topic test --from-beginning
此時介面同樣處於等待狀態
15.從13步的介面(生產者介面)輸入資訊,就會從14步(接收者介面)看到生產者介面輸入的資訊。
16.檢視主題中的資訊:
bin/kafka-topics.sh --describe --zookeeper guoyansi128 --topic test