1.簡介

  Kafka是一種高吞吐量的分散式釋出訂閱訊息系統。詳細介紹可查閱官網：kafka官網

2.環境搭建

2.1 安裝JDK

    下載地址：jre下載

   有關jdk的安裝不再贅述。

2.2 安裝Zookeeper

    下載後，解壓放在目錄D:\bigdata（本文所用的目錄）下，關於zookeeper以及kafka的目錄，路徑中最好不要出現空格，比如D:\Program Files，儘量別用，執行指令碼時會有問題。

①進入zookeeper的相關設定所在的檔案目錄，例如本文的：D:\bigdata\zookeeper-3.4.10\conf

②將"zoo_sample.cfg"重新命名為"zoo.cfg"

③開啟zoo.cfg(至於使用什麼編輯器，根據自己喜好選即可)，找到並編輯：

dataDir=/tmp/zookeeper  to  D:/bigdata/zookeeper-3.4.10/data或 D:\\bigdata\\zookeeper-3.4.10\\data(路徑僅為示例，具體可根據需要配置)

這裡注意，路徑要麼是"/"分割，要麼是轉義字元"\\"，這樣會生成正確的路徑(層級，子目錄)。

④與配置jre類似，在系統環境變數中新增：

    a.系統變數中新增ZOOKEEPER_HOME=D:\bigdata\zookeeper-3.4.10

    b.編輯系統變數中的path變數，增加%ZOOKEEPER_HOME%\bin

⑤在zoo.cfg檔案中修改預設的Zookeeper埠(預設埠2181)

這是本文最終的zoo.cfg檔案的內容：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=D:/bigdata/zookeeper-3.4.10/data
#dataDir=D:\\bigdata\\zookeeper-3.4.10\\data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
 

⑥開啟cmd視窗，輸入zkserver，執行Zookeeper，執行結果如下：

恭喜，Zookeeper已經安裝完成，已在2181埠執行。

2.3 安裝kafka

    要下載Binary downloads這個型別，不要下載原始檔，這種方便使用。下載後，解壓放在D:\bigdata目錄下。

①進入kafka配置檔案所在目錄，D:\bigdata\kafka_2.11-0.9.0.1\config

②編輯檔案"server.properties"，找到並編輯：

 log.dirs=/tmp/kafka-logs  to  log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\\bigdata\\kafka_2.11-0.9.0.1\\kafka-logs

同樣注意：路徑要麼是"/"分割，要麼是轉義字元"\\"，這樣會生成正確的路徑(層級，子目錄)。錯誤路徑情況可自行嘗試，資料夾名為這種形式：bigdatakafka_2.11-0.9.0.1kafka-logs

③在server.properties檔案中，zookeeper.connect=localhost:2181代表kafka所連線的zookeeper所在的伺服器IP以及埠，可根據需要更改。本文在同一臺機器上使用，故不用修改。

④kafka會按照預設配置，在9092埠上執行，並連線zookeeper的預設埠2181。

2.4 執行kafka

提示：請確保啟動kafka伺服器前，Zookeeper例項已經在執行，因為kafka的執行是需要zookeeper這種分散式應用程式協調服務。

①進入kafka安裝目錄D:\bigdata\kafka_2.11-0.9.0.1

②按下shift+滑鼠右鍵，選擇"在此處開啟命令視窗"，開啟命令列。

③在命令列中輸入：.\bin\windows\kafka-server-start.bat .\config\server.properties   回車。

④正確執行的情況為：

到目前為止，zookeeper以及kafka都已正確執行。保持執行狀態，不要關閉。

重要（操作日誌的處理）：

kafka啟動後，如果你去檢視kafka所在的根目錄，或者是kafka本身的目錄，會發現已經預設生成一堆操作日誌(這樣看起來真心很亂)：

而且會不斷生成不同時間戳的操作日誌。剛開始不知所措，一番研究後，看了啟動的指令碼內容，發現啟動的時候是會預設使用到這個log4j.properties檔案中的配置，而在zoo.cfg是不會看到本身的啟動會呼叫到這個，還以為只有那一個日誌路徑：

在這裡配置一下就可以了，找到config下的log4j.properties：

將路徑更改下即可，這樣就可以歸檔在一個資料夾下邊了，路徑根據自己喜好定義：

另外如何消除不斷生成日誌的問題，就是同一天的不同時間會不停生成。

修改這裡，還是在log4j.properties中：

本身都為trace，字面理解為會生成一堆跟蹤日誌，將其改為INFO即可。

2.5 建立主題

①建立主題，命名為"test0811"，replicationfactor=1(因為只有一個kafka伺服器在執行)。可根據叢集中kafka伺服器個數來修改replicationfactor的數量，以便提高系統容錯性等。

②在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目錄下開啟新的命令列

③輸入命令：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0811

回車。 

該視窗可以關閉。

2.6 建立生產者(producer)和消費者(consumer)

①在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目錄下開啟新的命令列。

②輸入命令，啟動producer：

kafka-console-producer.bat --broker-list localhost:9092 --topic test0811 

該視窗不要關閉。

③同樣在該目錄下開啟新的命令列。

④輸入命令，啟動consumer：

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test0811

現在生產者、消費者均已建立完成。

⑤在producer命令列視窗中任意輸入內容，回車  在consumer命令列視窗中即可看到相應的內容。

至此，已完成kafka在windows下的安裝和基本的使用。

本人才疏學淺，如有錯誤，還望批評指正。