轉載自：https://www.jksxit.com/essay/35

介紹

Kafka是分散式釋出-訂閱訊息系統，最初由LinkedIn公司開發，之後成為之後成為Apache基金會的一部分，由Scala和Java編寫。Kafka是一種快速、可擴充套件的、設計內在就是分散式的，分割槽的和可複製的提交日誌服務。
它與傳統系統相比，有以下不同：

• 它被設計為一個分散式系統，易於向外擴充套件；
• 它同時為釋出和訂閱提供高吞吐量；
• 它支援多訂閱者，當失敗時能自動平衡消費者；
• 它將訊息持久化到磁碟，因此可用於批量消費，例如ETL，以及實時應用程式。

基礎概念

• Broker：Kafka叢集包含一個或多個伺服器，這些伺服器就是Broker
• Topic：每條釋出到Kafka叢集的訊息都必須有一個Topic
• Partition：是物理概念上的分割槽，為了提供系統吞吐率，在物理上每個Topic會分成一個或多個Partition，每個Partition對應一個資料夾
• Producer：訊息產生者，負責生產訊息併發送到Kafka Broker
• Consumer：訊息消費者，向kafka broker讀取訊息並處理的客戶端。
• Consumer Group：每個Consumer屬於一個特定的組，組可以用來實現一條訊息被組內多- 個成員消費等功能。

安裝kakfka

從官網下載Kafka安裝包，解壓安裝，或直接使用命令下載。

wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

解壓安裝

tar -zvxf kafka_2.11-1.0.0.tgz -C /usr/local/
d /usr/local/kafka_2.11-1.0.0/

修改其中

broker.id=1
log.dirs=data/kafka-logs

功能驗證

啟動zookeeper

使用安裝包中的指令碼啟動單節點Zookeeper例項：

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
 

啟動Kafka服務

使用kafka-server-start.sh啟動kafka服務：

bin/kafka-server-start.sh config/server.properties

建立Topic

使用kafka-topics.sh 建立但分割槽單副本的topic test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

檢視Topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

產生訊息

使用kafka-console-producer.sh 傳送訊息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消費訊息

使用kafka-console-consumer.sh 接收訊息並在終端列印

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

刪除Topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

檢視描述 Topic 資訊

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

第一行給出了所有分割槽的摘要，每個附加行給出了關於一個分割槽的資訊。 由於我們只有一個分割槽，所以只有一行。

“Leader”: 是負責給定分割槽的所有讀取和寫入的節點。 每個節點將成為分割槽隨機選擇部分的領導者。

“Replicas”: 是複製此分割槽日誌的節點列表，無論它們是否是領導者，或者即使他們當前處於活動狀態。

“Isr”: 是一組“同步”副本。這是複製品列表的子集，當前活著並被引導到領導者。

叢集配置

Kafka支援兩種模式的叢集搭建：

1. 單機多broker叢集配置；
2. 多機多broker叢集配置。

單機多breoker

利用單節點部署多個broker。不同的broker不同的id，監聽埠以及日誌目錄，如：

• 將配置檔案複製兩份

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties 

• 修改配置檔案資訊

vim config/server-1.properties
#修改內容
broker.id=2
listeners=PLAINTEXT://your.host.name:9093
log.dirs=/data/kafka-logs-1


vim config/server-2.properties
#修改內容
broker.id=3
listeners=PLAINTEXT://your.host.name:9094
log.dirs=/data/kafka-logs-2

• 啟動多個kafka服務

in/kafka-server-start.sh config/server-1.properties 

bin/kafka-server-start.sh config/server-2.properties 

• 最後按照上面方法產生和消費資訊。

多機多broker

分別在多個節點按上述方式安裝Kafka，配置啟動多個Zookeeper 例項。如：192.168.18.130、192.168.18.131、192.168.18.132三臺機器

分別配置多個機器上的Kafka服務 設定不同的broke id，zookeeper.connect設定如下:

zookeeper.connect=192.168.18.130:2181,192.168.18.131:2181,192.168.18.132:2181