1. 程式人生 > >Windows上搭建Kafka執行環境

Windows上搭建Kafka執行環境

完整解決方案請參考: 

在環境搭建過程中遇到兩個問題,在這裡先列出來,以方便查詢:

1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this time. Process exited 解決方案: 1.1 右鍵點選“我的電腦” -> "高階系統設定" -> "環境變數"  1.2 檢視CLASSPATH的值裡有沒有包含QTJava.zip的路徑,如果有的話,把對應的路徑刪除,問題就解決了。 2. Missing `server' JVM (Java\jre7\bin\server\jvm­­.dll.) 解決方案: 2.1. 拷貝C:\Program Files\Java\jdk1.6.0\jre\bin\server 2.2 貼上到 C:\Program Files\Java\jre1.6.0\bin

搭建環境

1. 安裝JDK

1.1 安裝檔案:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下載Server JRE.
1.2 安裝完成後需要新增以下的環境變數(右鍵點選“我的電腦” -> "高階系統設定" -> "環境變數" ):

    • JAVA_HOME: C:\Program Files (x86)\Java\jre1.8.0_60(這個是預設安裝路徑,如果安裝過程中更改了安裝目錄,把更改後的路徑填上就行了)
    • PATH: 在現有的值後面新增"; %JAVA_HOME%\bin"

1.3 開啟cmd執行 "java -version" 檢視當前系統Java的版本:

java-version

2. 安裝Zookeeper

Kafka的執行依賴於Zookeeper,所以在執行Kafka之前我們需要安裝並執行Zookeeper

2.1 下載安裝檔案: http://zookeeper.apache.org/releases.html 2.2 解壓檔案(本文解壓到 G:\zookeeper-3.4.8) 2.3 開啟G:\zookeeper-3.4.8\conf,把zoo_sample.cfg重新命名成zoo.cfg 2.4 從文字編輯器裡開啟zoo.cfg 2.5 把dataDir的值改成“:\zookeeper-3.4.8\data” 2.6 新增如下系統變數:
    • ZOOKEEPER_HOME: G:\zookeeper-3.4.8
    • Path: 在現有的值後面新增 ";%ZOOKEEPER_HOME%\bin;"

2.7 執行Zookeeper: 開啟cmd然後執行

zkserver

3. 安裝並執行Kafka

3.2 解壓檔案(本文解壓到 G:\kafka_2.11-0.10.0.1) 3.3 開啟G:\kafka_2.11-0.10.0.1\config 3.4 從文字編輯器裡開啟 server.properties 3.5 把 log.dirs的值改成 “G:\kafka_2.11-0.10.0.1\kafka-logs” 3.6 開啟cmd 3.7 進入kafka檔案目錄: cd /d G:\kafka_2.11-0.10.0.1\ 3.8 輸入並執行以開啟kafka:
.\bin\windows\kafka-server-start.bat .\config\server.properties

4. 建立topics

4.1 開啟cmd 並進入G:\kafka_2.11-0.10.0.1\bin\windows 4.2 建立一個topic:
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5. 開啟一個Producer:

cd /d G:\kafka_2.11-0.10.0.1\bin\windows
kafka-console-producer.bat --broker-list localhost:9092 --topic test

6. 開啟一個Consumer:

cd /d G:\kafka_2.11-0.10.0.1\bin\windows
kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
然後就可以在Producer控制檯視窗輸入訊息了。在訊息輸入過後,很快Consumer視窗就會顯示出Producer傳送的訊息: 至此,Kafka執行環境的搭建就完成了:-) 部署過程中問題: 1、使用的zookeeper 版本是zookeeper-3.5.2-alpha ,啟動zookeeper 提示jdk 版本低,所以換成了jdk1.7 , 2、使用的kafka 是kafka_2.11-0.10.0.1,開始啟動不了報錯“此時不應有 \kafka_2.12-0.10.2.0\bin\windows\../../config/log4j.properties。” 後來發現原因是目錄中有“Program Files (x86)”,含有空格,將kafka 移到“F:\kafka_2.11-0.10.0.1”就可以了