Kafka - 叢集搭建

9092為kafka啟動服務後的預設通訊埠

10.1 上傳到Linux

將下載後的軟體上傳到虛擬機器中，並將軟體解壓縮到無中文，無空格的路徑中

tar -zxvf kafka_2.12-2.8.0.tgz -C /opt/module

JDK必須安裝1.8或以上版本

在解壓縮後的目錄中建立logs目錄

mkdir logs	

10.2 修改配置檔案

vim /opt/module/kafka/conf/server.properties

#broker的全域性唯一節點編號，不能重複
broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟IO的現成數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka執行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#topic在當前broker上的分割槽個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連線Zookeeper叢集地址
zookeeper.connect=linux1:2181,linux2:2181,linux3:2181/kafka-2.8
 

10.3 分發安裝包到其他伺服器

xsync kafka/
注意：分發之後記得配置其他機器的環境變數
分別在linux2和linux3上修改配置檔案/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
注意：broker.id不得重複

10.4 啟動 kafka 服務

依次在linux1、linux2、linux3節點上啟動kafka

bin/kafka-server-start.sh -daemon config/server.properties

10.5 關閉kafka服務

依次在linux1、linux2、linux3節點上關閉kafka

bin/kafka-server-stop.sh