1. 程式人生 > 其它 >Kafka 叢集搭建

Kafka 叢集搭建

 

下載地址:http://kafka.apache.org/downloads.htm

 

解壓

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ 

修改解壓後的檔名稱

mv kafka_2.12-3.0.0/ kafka

進入到/opt/module/kafka 目錄,修改配置檔案

cd config/
vim server.properties

輸入以下內容:

#broker 的全域性唯一編號,不能重複,只能是數字。
broker.id=0
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟 IO 的執行緒數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka 執行日誌(資料)存放的路徑,路徑不需要提前建立,kafka 自動幫你建立,可以
配置多個磁碟路徑,路徑與路徑之間可以用","分隔
log.dirs=/opt/module/kafka/datas
#topic 在當前 broker 上的分割槽個數 num.partitions=1 #用來恢復和清理 data 下資料的執行緒數量 num.recovery.threads.per.data.dir=1 # 每個 topic 建立時的副本數,預設時 1 個副本 offsets.topic.replication.factor=1 #segment 檔案保留的最長時間,超時將被刪除 log.retention.hours=168 #每個 segment 檔案的大小,預設最大 1G log.segment.bytes=1073741824 # 檢查過期資料的時間,預設 5 分鐘檢查一次是否資料過期 log.retention.check.interval.ms=300000 #配置連線 Zookeeper 叢集地址(在 zk 根目錄下建立/kafka,方便管理) zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka fka

 分別在 hadoop103 和 hadoop104 上修改配置檔案/opt/module/kafka/config/server.properties 中的 broker.id=1、broker.id=2

 broker.id 不得重複,整個叢集中唯一。

 

環境變數

 

在/etc/profile.d/my_env.sh 檔案中增加 kafka 環境變數配置

vim /etc/profile.d/my_env.sh

 增加如下內容:

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

 重新整理一下環境變數。

source /etc/profile