Kafka安裝叢集部署以及簡單命令列操作
阿新 • • 發佈：2020-12-21
技術標籤：zookeeperkafkakafkajavazookeeper
準備安裝環境
1.叢集的配置
master zookeeper kafka
server01 zookeeper kafka
server02 zookeeper kafka
2. jar包下載，穩定版本
http://kafka.apache.org/downloads.html
1）解壓安裝包
[[email protected] zzz]$ tar -zxvf kafka_2.20-0.11.0.0.tgz -C /opt/module/
2）修改解壓後的檔名稱，可不改
[[email protected] module]$ mv kafka_2.11-0.11.0.0/ kafka
3）在/opt/module/kafka目錄下建立logs資料夾
[[email protected] kafka]$ mkdir logs
4）修改配置檔案
[[email protected] kafka]$ cd config/
[[email protected] config]$ vi server.properties
修改輸入以下命令：
#刪除topic功能使能 delete.topic.enable=true #kafka執行日誌存放的路徑 log.dirs=/home/zzz/ruanjian/kafka-2.11/logs #配置連線Zookeeper叢集地址 zookeeper.connect=master:2181,server01:2181,server02:2181
5）配置環境變數(可不配置)
[[email protected] module]$ sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
[[email protected] module]$ source /etc/profile
6）分發安裝包（如果配置環境變數後，分發後切記修改）
7）分別修改配置
/opt/module/kafka/config/server.properties中的
broker.id=1，broker.id=2
8）啟動叢集
[[email protected] kafka]$ bin/kafka-server-start.sh config/server.properties &
[[email protected] kafka]$ bin/kafka-server-start.sh config/server.properties &
[[email protected] kafka]$ bin/kafka-server-start.sh config/server.properties &
kafka無法停止的問題【已解決】
修改kafka-server-stop.sh
將 PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk ‘{print $1}’)
修改為 PIDS=$(jps -lm | grep -i ‘kafka.Kafka’ | awk ‘{print $1}’)
Kafka命令列操作
1）檢視當前伺服器中的所有topic命令
[[email protected] kafka]$ bin/kafka-topics.sh --zookeeper master:2181 --list
2 ）建立topic
/bigdata/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --create --zookeeper master:2181,server01:2181,server02:2181 --replication-factor 3 --partitions 3 --topic track
選項說明：
–topic 定義topic名
–replication-factor 定義副本數
–partitions 定義分割槽數
3）刪除topic
[[email protected] kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \
--delete --topic first
4）傳送訊息
[[email protected] kafka]$ bin/kafka-console-producer.sh \
--broker-list namenode-1:9092 --topic calllog
>hello world
>atguigu zzz
5）消費訊息
[[email protected] kafka]$ bin/kafka-console-consumer.sh \
--zookeeper hadoop102:2181 --from-beginning --topic first
–from-beginning：會把first主題中以往所有的資料都讀取出來。根據業務場景選擇是否增加該配置。
6）檢視某個Topic的詳情
[[email protected] kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 \
--describe --topic first