基於CentOS7搭建Kafka單機環境
阿新 • • 發佈：2018-11-07
基於CentOS7搭建Kafka單機環境
作者：家輝，日期：2018-04-13 CSDN部落格：
http://blog.csdn.net/gobitan
摘要：本文基於CentOS7搭建了Kafka單機版，並做了簡單使用測試。
安裝準備 [1] 更新CentOS 7的系統 [[email protected] ~]# yum update -y [[email protected] ~]# reboot
[2] 安裝JDK8 略 注意：
第一步：下載Kafka [1] 下載 [[email protected] ~]# wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
[2] 解壓 [[email protected] ~]# tar zxf kafka_2.11-1.1.0.tgz
[3] 移到/opt目錄 [[email protected]
第二步：啟動Kafka [1] 進入kafka目錄 [[email protected] ~]# cd /opt/kafka_2.11-1.1.0/
[2] 啟動zookeeper [[email protected] kafka_2.11-1.1.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
[3] 檢查zookeeper埠2181是否正常監聽 [
[4] 檢查kafka預設的JVM引數配置是否需要修改 Kafka預設設定1G，即"-Xmx1G -Xms1G"。如果你的測試機記憶體較低，需要修改才能成功啟動。引數配置位於：bin/kafka-server-start.sh
[5] 啟動Kafka [[email protected] kafka_2.11-1.1.0]# bin/kafka-server-start.sh config/server.properties
如果一切順利，就會看到如下啟動成功的日誌： [2018-04-13 10:29:16,041] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
[6] 檢查Kafka的埠9092監聽是否正常 [[email protected] ~]# netstat -an|grep 9092 tcp6 0 0 :::9092 :::* LISTEN
第三步：測試Kafka [1] 建立一個測試主題 [[email protected] ~]# cd /opt/kafka_2.11-1.1.0/ [[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Created topic "test".
[2] 檢視剛剛建立的test主題 [[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181 test
[3] 向剛剛建立的test主題中寫入資料 [[email protected] kafka_2.11-1.1.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >Hello, Dennis! > "Hello Dennis!"為寫入的資料。
[4] 檢視剛剛寫入的資料 另外開一個ssh tab連線，然後執行如下命令 [[email protected] kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper]. Hello, Dennis!
此外，還可以在上一個ssh連線實時寫入資料，檢視的ssh裡可以看到實時的輸出。
參考資料： [1] https://www.vultr.com/docs/how-to-install-apache-kafka-on-centos-7
安裝準備 [1] 更新CentOS 7的系統 [[email protected] ~]# yum update -y [[email protected] ~]# reboot
[2] 安裝JDK8 略 注意：
第一步：下載Kafka [1] 下載 [[email protected] ~]# wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
[2] 解壓 [[email protected] ~]# tar zxf kafka_2.11-1.1.0.tgz
[3] 移到/opt目錄 [[email protected]
第二步：啟動Kafka [1] 進入kafka目錄 [[email protected] ~]# cd /opt/kafka_2.11-1.1.0/
[2] 啟動zookeeper [[email protected] kafka_2.11-1.1.0]# bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
[3] 檢查zookeeper埠2181是否正常監聽 [
[4] 檢查kafka預設的JVM引數配置是否需要修改 Kafka預設設定1G，即"-Xmx1G -Xms1G"。如果你的測試機記憶體較低，需要修改才能成功啟動。引數配置位於：bin/kafka-server-start.sh
[5] 啟動Kafka [[email protected] kafka_2.11-1.1.0]# bin/kafka-server-start.sh config/server.properties
如果一切順利，就會看到如下啟動成功的日誌： [2018-04-13 10:29:16,041] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
[6] 檢查Kafka的埠9092監聽是否正常 [[email protected] ~]# netstat -an|grep 9092 tcp6 0 0 :::9092 :::* LISTEN
第三步：測試Kafka [1] 建立一個測試主題 [[email protected] ~]# cd /opt/kafka_2.11-1.1.0/ [[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test Created topic "test".
[2] 檢視剛剛建立的test主題 [[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181 test
[3] 向剛剛建立的test主題中寫入資料 [[email protected] kafka_2.11-1.1.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test >Hello, Dennis! > "Hello Dennis!"為寫入的資料。
[4] 檢視剛剛寫入的資料 另外開一個ssh tab連線，然後執行如下命令 [[email protected] kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper]. Hello, Dennis!
此外，還可以在上一個ssh連線實時寫入資料，檢視的ssh裡可以看到實時的輸出。
參考資料： [1] https://www.vultr.com/docs/how-to-install-apache-kafka-on-centos-7