Windows上搭建Kafka執行環境
阿新 • • 發佈:2019-01-05
完整解決方案請參考:
在環境搭建過程中遇到兩個問題,在這裡先列出來,以方便查詢:
1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解決方案: 1.1 右鍵點選“我的電腦” -> "高階系統設定" -> "環境變數" 1.2 檢視CLASSPATH的值裡有沒有包含QTJava.zip的路徑,如果有的話,把對應的路徑刪除,問題就解決了。 2. Missing `server' JVM (Java\jre7\bin\server\jvm.dll.) 解決方案: 2.1. 拷貝C:\Program Files\Java\jdk1.6.0\jre\bin\server 2.2 貼上到 C:\Program Files\Java\jre1.6.0\bin搭建環境
1. 安裝JDK
1.1 安裝檔案:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下載Server JRE.
1.2 安裝完成後需要新增以下的環境變數(右鍵點選“我的電腦” -> "高階系統設定" -> "環境變數" ):
-
- JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(這個是預設安裝路徑,如果安裝過程中更改了安裝目錄,把更改後的路徑填上就行了)
-
- PATH: 在現有的值後面新增"; %JAVA_HOME%\bin"
1.3 開啟cmd執行 "java -version" 檢視當前系統Java的版本:
2. 安裝Zookeeper
Kafka的執行依賴於Zookeeper,所以在執行Kafka之前我們需要安裝並執行Zookeeper
2.1 下載安裝檔案: http://zookeeper.apache.org/releases.html 2.2 解壓檔案(本文解壓到 G:\zookeeper-3.4.8) 2.3 開啟G:\zookeeper-3.4.8\conf,把zoo_sample.cfg重新命名成zoo.cfg 2.4 從文字編輯器裡開啟zoo.cfg 2.5 把dataDir的值改成“:\zookeeper-3.4.8\data” 2.6 新增如下系統變數:-
- ZOOKEEPER_HOME: G:\zookeeper-3.4.8
- Path: 在現有的值後面新增 ";%ZOOKEEPER_HOME%\bin;"
2.7 執行Zookeeper: 開啟cmd然後執行
zkserver
3. 安裝並執行Kafka
3.2 解壓檔案(本文解壓到 G:\kafka_2.11-0.10.0.1) 3.3 開啟G:\kafka_2.11-0.10.0.1\config 3.4 從文字編輯器裡開啟 server.properties 3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs” 3.6 開啟cmd 3.7 進入kafka檔案目錄: cd /d G:\kafka_2.11-0.10.0.1\ 3.8 輸入並執行以開啟kafka:.\bin\windows\kafka-server-start.bat .\config\server.properties
4. 建立topics
4.1 開啟cmd 並進入G:\kafka_2.11-0.10.0.1\bin\windows 4.2 建立一個topic:kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
5. 開啟一個Producer:
cd /d G:\kafka_2.11-0.10.0.1\bin\windows kafka-console-producer.bat --broker-list localhost:9092 --topic test
6. 開啟一個Consumer:
cd /d G:\kafka_2.11-0.10.0.1\bin\windows
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
然後就可以在Producer控制檯視窗輸入訊息了。在訊息輸入過後,很快Consumer視窗就會顯示出Producer傳送的訊息:
至此,Kafka執行環境的搭建就完成了:-)
部署過程中問題:
1、使用的zookeeper 版本是zookeeper-3.5.2-alpha ,啟動zookeeper 提示jdk 版本低,所以換成了jdk1.7 ,
2、使用的kafka 是kafka_2.11-0.10.0.1,開始啟動不了報錯“此時不應有 \kafka_2.12-0.10.2.0\bin\windows\../../config/log4j.properties。”
後來發現原因是目錄中有“Program Files (x86)”,含有空格,將kafka 移到“F:\kafka_2.11-0.10.0.1”就可以了