zookeeper+kafka叢集的安裝部署
阿新 • • 發佈:2019-01-06
準備工作
上傳 zookeeper-3.4.6.tar.gz、scala-2.11.4.tgz、kafka_2.9.2-0.8.1.1.tgz、slf4j-1.7.6.zip 至/usr/local目錄
zookeeper叢集搭建
解壓zookeeper安裝包
# tar -zxvf zookeeper-3.4.6.tar.gz
刪除原壓縮包
# rm -rf zookeeper-3.4.6.tar.gz
重新命名
# mv zookeeper-3.4.6 zk
配置zookeeper相關的環境變數
# vi /etc/profile export ZOOKEEPER_HOME=/usr/local/zk export PATH=$PATH:$ZOOKEEPER_HOME/bin # source /etc/profile
ls 等命令無效
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
修改zookeeper配置檔案
# cd /usr/local/zk/conf # cp zoo_sample.cfg zoo.cfg # vi zoo.cfg 修改: dataDir=/usr/local/zk/data 新增: server.0=eshop-cache01:2888:3888 server.1=eshop-cache02:2888:3888 server.2=eshop-cache03:2888:3888
新建zookeeper的data資料檔案
# cd /usr/local/zk
# mkdir data
# cd data
# vi myid 新增標識號:0
其他叢集節點重複上述配置即可,唯一不同的是標識號不同,可為1、2...
啟動zookeeper
# zkServer.sh start
檢視zookeeper的狀態
# zkServer.sh status
kafka叢集搭建
scala安裝
解壓scala安裝包
# tar -zxvf scala-2.11.4.tgz
重新命名
# mv scala-2.11.4 scala
配置scala的環境變數
# vi /etc/profile export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin # source /etc/profile
檢視scala的version版本
# scala -version
kafka安裝
解壓kafka安裝包
# tar -zxvf kafka_2.9.2-0.8.1.1.tgz
重新命名
# mv kafka_2.9.2-0.8.1.1 kafka
配置kafka
# vi /usr/local/kafka/config/server.properties
broker.id=0 //叢集節點0、1、2依次增長的整數
zookeeper.connect=192.168.27.11:2181,192.168.27.12:2181,192.168.27.13:2181
kafka安裝問題
解決kafka的Unrecognized VM option 'UseCompressedOops'問題
# vi /usr/local/kafka/bin/kafka-run-class.sh
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
去掉-XX:+UseCompressedOops即可
解決kafka因系統實體記憶體不足啟動失敗的問題
# vi /usr/local/kafka/bin/kafka-server-start.sh
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
安裝slf4j
解壓slf4j壓縮包
# unzip slf4j-1.7.6.zip
複製 slf4j-nop-1.7.6.jar 至kafka的libs目錄
# cp /usr/local/slf4j-1.7.6/slf4j-nop-1.7.6.jar /usr/local/kafka/libs
按照上述步驟在叢集其他節點完成kafka的安裝,唯一區別就是server.properties的broker.id,需設定不同的整數1、2...
啟動kafka
# nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
檢視啟動日誌
# cat nohup.out
檢查kafka是否啟動成功
# jps
完成各個節點的安裝後,檢查kafka叢集是否搭建成功
// 建立測試topic
# /usr/local/kafka/bin/kafka-topics.sh --zookeeper 192.168.27.11:2181,192.168.27.12:2181,192.168.27.13:2181 --topic test --replication-factor 1 --partitions 1 --create
// 建立生產者
# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.27.11:9092,192.168.27.12:9092,192.168.27.13:9092 --topic test
// 建立消費者
# /usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.27.11:2181,192.168.27.12:2181,192.168.27.13:2181 --topic test --from-beginning