1. 程式人生 > >Kafka叢集搭建之路

Kafka叢集搭建之路

Kafka配置流程圖
1. zookeeper的配置流程圖
申請兩臺linux機器,目前是兩個虛擬機器(centos系統)
首先,建立三個目錄,分別作為zookeeper的專案目錄、儲存資料目錄和儲存事務日誌
mkdir zookeeper #專案目錄
mkdir zkdata #存放快照日誌
mkdir zkdatalog#存放事物日誌

Server2 : 192.168.173.128
Server1 : 192.168.173.129

定時執行指令碼

!/bin/bash

snapshot file dir

dataDir=/opt/zookeeper/zkdata/version-2

tran log dir

dataLogDir=/opt/zookeeper/zkdatalog/version-2

Leave 66 files

count=66
count=[count+1]
ls -t dataLogDir/log.|tailn+count | xargs rm -f
ls -t dataDir/snapshot.|tailn+count | xargs rm -f

以上這個指令碼定義了刪除對應兩個目錄中的檔案,保留最新的66個檔案,可以將他寫到crontab中,設定為每天凌晨2點執行一次就可以了。

zk log dir del the zookeeper log

logDir=

ls -t logDir/zookeeper.log.|tailn+count | xargs rm -f

192.168.173.128:
Zk配置:id=2 jd-zhouguoxin
Kafka 配置: broker.id = 0

192.168.173.129:
Zk配置:id=1 zhouguoxin
Kafka 配置: broker.id = 1
Scp –r /opt/kafka-src [email protected]:/opt/