技術標籤：專案環境搭建kafkazookeeper

說明 ：搭建Kafka需要先安裝JDK和zookeeper並且做一下IP和主機名的對映！
本次搭建環境：centos8

①、jdk安裝

# 1、下載jdk的rpm包
wget jdk下載地址

# 2、安裝jdk
rpm -ivh jdk-8u191-linux-x64.rpm 

# 3、配置JAVA_HOME
vim /etc/profile
# 新增如下配置
export JAVA_HOME=/usr/local/jdk1.8.0_201
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=
 
.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

# 4、驗證是否安裝配置成功
source /etc/profile
java -version
echo $JAVA_HOME

②、新增IP和主機名對映

vim /etc/hosts
# 新增IP對映
ip地址 主機名

③、搭建zookeeper

• 下載zookeeper安裝包，並且解壓到相應的目錄。

• 拷貝一份 zoo_sample.cfg 配置檔案：cp zoo_sample.cfg zoo.cfg

• 更改配置檔案，zoo.cfg

  # 單機版zookeeper一般只需要更改一下zookeeper的資料存放目錄就行了
  dataDir=/home/wenpan/module/zookeeper/zkdata
   
  

④、啟動zookeeper

 # 啟動zookeeper,切換到bin目錄下執行下面命令
 sh bin/zkServer.sh start
 # 檢查是否啟動成功
 sh bin/zkServer.sh status
 jps

⑤、安裝Kafka

• 下載Kafka安裝包並解壓到相應目錄

  # 下載kafka安裝包
  wget 安裝包下載地址
  
  # 解壓Kafka安裝包到 /home/wenpan/module/kafka/ 目錄
  tar -zxvf kafka_2.11-2.2.0.tgz -C /home/wenpan/module/kafka/
  

• 進入到config目錄，更改配置檔案 server.properties

  # 更改之前首先備份配置檔案
  cp server.properties server.properties.bak
  
  # 下面配置可適當調整
  # 監聽的埠
  listeners=PLAINTEXT://wenpan-host:9092
  # kafka資料持久化存放的目錄
  log.dirs=/home/wenpan/module/kafka/kafka-data
  # zookeeper連線資訊
  zookeeper.connect=wenpan-host:2181
  # zookeeper連線超時時間
  zookeeper.connection.timeout.ms=6000
  # 持久化資料在磁碟上儲存時間（預設168小時，即7天）
  log.retention.hours=168
  # brokerId，標識唯一一臺主機，一般在叢集中才修改
  broker.id=0
  

⑥、啟動Kafka

# 執行bin目錄下的啟動指令碼  -daemon 後臺啟動 並指定啟動時使用的配置檔案
./bin/kafka-server-start.sh –daemon config/server.properties
# 驗證是否啟動成功
ps -ef | grep kafka

⑦、用命令建立topic、控制檯消費者、生產者進行測試

# cd到bin目錄下執行下面命令
# 1、用命令建立一個topic (副本因子數量不能大於叢集的broker數量)
sh kafka-topics.sh --bootstrap-server wenpan-host:9092 --create --topic topic01 --partitions 3 --replication-factor 1

# 檢視topic列表
sh kafka-topics.sh --zookeeper wenpan-host:2181 --list

# 2、控制檯生產者，生產topic
sh kafka-console-producer.sh --broker-list wenpan-host:9092 --topic topic01

# 3、控制檯消費者，消費topic
sh kafka-console-consumer.sh --bootstrap-server wenpan-host:9092 --topic topic01 --group group1