kafka的安裝部署
阿新 • • 發佈:2019-01-29
安裝部署
依賴jdk,zookeper;安裝部署Java
- 雙節安裝,並配置環境變數
-
使用下面的命令 驗證Java是否安裝成功
java -version
安裝zookeeper
- 進入zookeeper設定目錄,將zoo_sample.cfg重新命名為:zoo.cfg
- 在編輯器中開啟zoo.cfg,將dataDir的值改成自己的data目錄(需要新建)
- 新建zookeeper系統變數ZOOKEEPER_HOME=,並把bin目錄新增到系統的path變數中
-
開啟新的cmd,輸入
zkserver
,執行Zookeeper伺服器,如果安裝成功,啟動的介面如下:
說明zookeeper已經安裝成功並執行在2181埠。安裝kafka
- 進入kafka安裝目錄的config目錄,修改server.properties檔案,如修改的地方如下:
把log.dirs改成自己的目錄,一般在kafka安裝目錄下新建資料夾來存放日誌檔案 - Kafka會按照預設,在9092埠上執行,並連線zookeeper的預設埠:2181
- 執行kafka伺服器
-
進入kafka安裝目錄,按下shift +右鍵,選擇 "在此處開啟命令視窗",輸入如下命令並按回車
如果安裝kafka安裝成功,命令執行後應該是下面的情況:.\bin\windows\kafka-server-start.bat .\config\server.properties
-
kafka安裝成功後就可以建立主題儲存訊息了
-
使用kafka
-
建立主題:進入kafka安裝目錄的\bin\windows下按shift +右鍵,選擇“在此處開啟命令視窗”,輸入如下命令並回車:
kafak-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test
- 建立producer 及consumer來測試伺服器
在kafka安裝目錄的\bin\windows啟動新的命令視窗,producer和consumer需要分別啟動命令視窗。-
啟動producter,啟動命令如下:
kafka-console-producer.bat --broker-list localhost:9092 --topic test
-
啟動consumer,啟動命令如下:
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
-
在producter視窗輸入內容,如果在consumer視窗能看到內容,則說明kafka安裝成功
-
kafka常用命令
-
列出主題
kafka-topic.bat -list -zookeeper localhost:2181
-
描述主題
kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]
-
從頭讀取訊息
kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning
-
刪除主題
kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181
-
檢視topic的詳細資訊
./kafka-topic.sh -zookeeper localhost:2181 -describe -topic [topic name]
-
為topic增加副本
./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute
-
為topic增加partition
./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]
-
下線broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60 shutdown broker