一、Kafka簡介

​ Kafka是由Apache軟體基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的

分散式釋出訂閱訊息系統，它可以處理消費者規模的網站中的所有動作流資料。 這種動作（網頁瀏覽，搜尋

和其他使用者的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些資料通常是由於吞吐量的要求而通過

處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌資料和離線分析系統，但又要求實時處理的限制，這是

一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的訊息處理，也是為了通過

叢集來提供實時的訊息。

類似的元件還有：Azure的ServiceBus、RabbitMQ等，據網上描述，Kafka比RabbitMQ效能強。

二、安裝

2.1、安裝Kafka之前得先安裝jdk，最好就是1.8及以上

參考：https://www.cnblogs.com/hsyw/p/13203495.html

2.2、下載Kafka

下載地址:http://kafka.apache.org/downloads.html

2.3、安裝

#我下載的是kafka_2.11-2.2.1.tgz，需要什麼版本可自選
[root@t1 ~]# tar -zxvf kafka_2.11-2.2.1.tgz -C /app/ && cd /app
[root@t1 app]# mv kafka_2.11-2.2.1/ kafka
[root@t1 app]# cd kafka/
#存放Kafka日誌
[root@t1 kafka]# mkdir logs
[root@t1 kafka]# vim config/server.properties 
#修改日誌目錄方便檢視日誌
log.dirs=/app/kafka/logs
 

2.4、啟動

#啟動Kafka得先啟動zookeeper，可以用內建的，也可以自帶。我這用的是另外安裝的，預設埠是2181，所以不 修改Kafka的啟動配置檔案
#前臺啟動看看有沒有報錯，如果有報錯排查
[root@t1 bin]# ./kafka-server-start.sh ../config/server.properties 
#後臺啟動，可以到日誌檢視是否有錯誤
[root@t1 bin]# ./kafka-server-start.sh  -daemon ../config/server.properties 

三、驗證

3.1、建立一個Topic

[root@t1 bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.
 

3.2、檢視剛剛建立的Topic

[root@t1 bin]# ./kafka-topics.sh --list --zookeeper localhost:2181

3.3、產生訊息

[root@t1 bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>hello tzh
>ni zui jin hai hao ma    
>wo hen xiang ni

3.4、消費訊息

###高版本用--bootstrap-server消費訊息
[root@t1 bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.47.188:9092 --topic  test  --from-beginning   
hello tzh
ni zui jin hai hao ma
wo hen xiang ni 


###低版本用--zookeeper消費訊息
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

四、bin目錄檔案介紹

kafka-server-start.sh Kafka服務啟動指令碼
kafka-server-stop.sh Kafka服務停止指令碼
kafka-console-consumer.sh Kafka命令視窗消費者啟動指令碼
kafka-console-producer.sh Kafka命令視窗生產者啟動指令碼
zookeeper-server-start.sh Kafka自帶zookeeper服務的啟動指令碼
zookeeper-server-stop.sh Kafka自帶zookeeper服務的停止指令碼

五、conf目錄檔案介紹

server.properties Kafka服務的啟動配置檔案
zookeeper.properties Kafka自帶zookeeper的啟動配置檔案

轉自：https://www.cnblogs.com/hsyw/p/13416311.html