kafka是linkedin用於日誌處理的分散式訊息佇列， 同時支援離線和線上日誌處理。 kafka對訊息儲存時根據Topic進行歸類， 傳送訊息者成為 Producer,訊息接受者成為 Consumer,此外 kafka 叢集有多個kafka例項組成， 每個例項(server)稱為broker。 無論是kafka叢集， 還是producer和consumer都依賴於zookeeper來保證系統可用性，為叢集儲存一些meta資訊。

一個 Topic 可以認為是一類訊息，每個 topic 將被分成多個partition(區),每個 partition 在儲存層面是 append log 檔案。任何釋出到此 partition 的訊息都會被直接追加到log 檔案的尾部， 每條訊息在檔案中的位置稱為 offset（偏移量）， offset 為一個 long型數字， 它是唯一標記一條訊息。 kafka 並沒有提供其他額外的索引機制來儲存 offset，因為在 kafka 中幾乎不允許對訊息進行“ 隨機讀寫” 。
在kafka 中， 即使訊息被消費,訊息仍然不會被立即刪除。 日誌檔案將會根據 broker 中的配置要求,保留一定的時間之後刪除;比如log 檔案保留 2 天,那麼兩天後,檔案會被清除,無論其中的訊息是否被消費。 kafka 通過這種簡單的手段,來釋放磁碟空間,以及減少訊息消費之後對檔案內容改動的磁碟IO 開支。
安裝過程參考博文：

http://www.tuicool.com/articles/uQzYfq
安裝 2.8.0-0.8.0
1.下載kafka_2.8.0-0.8.0.tar.gz
https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz
2.解壓縮
tar -vxf kafka_2.8.0-0.8.0.tar.gz
3.修改配置檔案
修改conf/server.properties
host.name=10.10.224.12 （修改為主機ip,不然伺服器返回給客戶端的是主機的hostname,客戶端並不一定能夠識別）
修改conf/zookeeper.properties 屬性檔案
dataDir=/usr/local/tmp/zookeeper (zookeeper臨時資料檔案)
4.啟動zookeeper和kafka
cd bin
啟動zookeeper
./zookeeper-server-start.sh ../config/zookeeper.properties & (&推出命令列，服務守護執行)
啟動kafka
./kafka-server-start.sh ../config/server.properties &
5.驗證是否成功
*建立主題
./kafka-create-topic.sh –partition 1 –replica 1 –zookeeper localhost:2181 –topic test
檢查是否建立主題成功
./kafka-list-topic.sh –zookeeper localhost:2181
*啟動produce
./bin/kafka-console-producer.sh –broker-list 10.10.224.12:9092 –topic test
*啟動consumer
./kafka-console-consumer.sh –zookeeper localhost:2181 –topic test
6.關閉kafka和zookeeper
./kafka-server-stop.sh ../config/server.properties
./zookeeper-server-stop.sh
心得總結：
1.produce啟動的時候引數使用的是kafka的埠而consumer啟動的時候使用的是zookeeper的埠；
2.必須先建立topic才能使用；
3.topic本質是以檔案的形式儲存在zookeeper上的。