安裝前提:已經搭建好zookeeper叢集並能正常執行zookeeper

一.下載並上傳安裝包到伺服器

官網下載安裝包即可

二.安裝kafka

1.解壓kafka

進入kafka安裝包所在路徑,執行解壓命令

tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2.修改配置檔案

進入config目錄

cd config/
vi server.properties

#修改或者增加以下內容：
#broker的全域性唯一編號，不能重複
broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#kafka執行日誌存放的路徑
log.dirs=/opt/module/kafka/data
#配置連線Zookeeper叢集地址
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181/kafka

 

3.配置環境變數並分發安裝包

sudo vi /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

sudo source /etc/profile.d/my_env.sh

分發安裝包到hadoop102,hadoo103,並修改config/server.properties檔案broke.id值

4.配置指令碼

#!/bin/bash

case $1 in
"start"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------啟動 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties "
    done
};;
"stop"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-stop.sh stop"
    done
};;
esac
 

二.kafka常用命令

#建立topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka --create --replication-factor 3 --partitions 1 --topic first
#檢視topic
kafka-topics.sh --zookeeper hadoop101:2181/kafka --list
#kafka控制檯生產者
kafka-console-producer.sh --broker-list hadoop101:9092 --topic first
#kafka控制檯消費者
kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first
#檢視topic詳情
bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --describe --topic first
#修改分割槽數
kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic first --partitions 6
#刪除topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka --delete --topic first
注意:需要server.properties中設定delete.topic.enable=true否則只是標記刪除


#用的比較多的就上面這幾個命令,另外可以通過幫助文件檢視具體使用方式
例如kafka-topic.sh命令: