Kafka 叢集搭建
阿新 • • 發佈:2022-03-22
下載地址:http://kafka.apache.org/downloads.htm
解壓
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
修改解壓後的檔名稱
mv kafka_2.12-3.0.0/ kafka
進入到/opt/module/kafka 目錄,修改配置檔案
cd config/
vim server.properties
輸入以下內容:
#broker 的全域性唯一編號,不能重複,只能是數字。 broker.id=0 #處理網路請求的執行緒數量 num.network.threads=3 #用來處理磁碟 IO 的執行緒數量 num.io.threads=8 #傳送套接字的緩衝區大小 socket.send.buffer.bytes=102400 #接收套接字的緩衝區大小 socket.receive.buffer.bytes=102400 #請求套接字的緩衝區大小 socket.request.max.bytes=104857600 #kafka 執行日誌(資料)存放的路徑,路徑不需要提前建立,kafka 自動幫你建立,可以 配置多個磁碟路徑,路徑與路徑之間可以用","分隔 log.dirs=/opt/module/kafka/datas#topic 在當前 broker 上的分割槽個數 num.partitions=1 #用來恢復和清理 data 下資料的執行緒數量 num.recovery.threads.per.data.dir=1 # 每個 topic 建立時的副本數,預設時 1 個副本 offsets.topic.replication.factor=1 #segment 檔案保留的最長時間,超時將被刪除 log.retention.hours=168 #每個 segment 檔案的大小,預設最大 1G log.segment.bytes=1073741824 # 檢查過期資料的時間,預設 5 分鐘檢查一次是否資料過期 log.retention.check.interval.ms=300000 #配置連線 Zookeeper 叢集地址(在 zk 根目錄下建立/kafka,方便管理) zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka fka
分別在 hadoop103 和 hadoop104 上修改配置檔案/opt/module/kafka/config/server.properties 中的 broker.id=1、broker.id=2
broker.id 不得重複,整個叢集中唯一。
環境變數
在/etc/profile.d/my_env.sh 檔案中增加 kafka 環境變數配置
vim /etc/profile.d/my_env.sh
增加如下內容:
#KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin
重新整理一下環境變數。
source /etc/profile