Apache Kafka 架構和相關概念
Apache Kafka 架構和相關概念
Apache Kafka 是一款開源的分散式訊息引擎系統
訊息引擎的同類
- ActiveMQ
- RabbitMQ
- WebSphere MQ
- Rocket MQ
- JMS僅僅是一組 API 協議
訊息引擎的作用
削峰填谷
緩衝上下游瞬時突發流量，使其更平滑.特別是對於那種傳送能力很強的上游系統，如果沒有訊息引擎的保護，“脆弱”的下游系統可能會直接被壓垮導致全鏈路服務“雪崩”。
但是，一旦有了訊息引擎，它能夠有效地對抗上游的流量衝擊，真正做到將上游的“峰”填滿到“谷”中，避免了流量的震盪
解耦
使傳送方與接收方鬆耦合,僅以協議的方式進行通訊,簡化了開發.
訊息引擎使用方式
點對點
也叫訊息佇列,每個訊息只能被一個下游的消費者消費.
把訊息發給多個處理者,方便擴充套件處理量,同時也意味著,當一個消費者消費了這條訊息,這條訊息就不存在了.別人無法消費
釋出/訂閱
把訊息廣播給每個處理者.
由於每條訊息都會傳遞給每個訂閱者，因此無法擴充套件處理。kafka的consumerGroup同時支援上述這兩種方式.
Kafka模型的優勢在於，每個主題都具有這兩個屬性-可以擴充套件處理範圍，並且是多使用者的-無需選擇其中一個。
KAFKA 拓撲結構圖
KAFKA 結構圖
KAFKA 概念
Broker
Broker 負責接收和處理客戶端傳送過來的請求，以及對訊息進行持久化, 一個 Kafka叢集由多個
Broker 組成. 也可以理解為 KAFKA 伺服器
Client
分為生產者和消費者
- producer
向主題釋出訊息的客戶端應用程式稱為生產者（Producer），生產者程式通常持續不斷地向一個或多個主題傳送訊息.
生產者負責選擇將記錄分配給主題中相應的分割槽。可以簡單地以輪循方式完成此操作，也可以根據某些語義分割槽功能（例如基於記錄中的某些鍵）完成此操作。
2. Consumer 訂閱這些主題訊息的客戶端應用程式就被稱為消費者（Consumer）
消費者存在於消費者組中，主題的每條記錄都會傳遞到訂閱消費者組中的一個消費者例項。使用者例項可以位於單獨的程序中，也可以位於單獨的機器上。
Topic
釋出訂閱的物件是主題（Topic）,可以是某個業務,某個應用甚至某類資料的邏輯分類.
Partitioning
每個分割槽都是有序的，不變的記錄序列，這些記錄連續地追加到結構化的提交日誌中.分割槽中的每個記錄均分配有一個稱為偏移的順序ID號，該ID
唯一地標識分割槽中的記錄。
Kafka中的分割槽機制指的是將每個主題劃分成多個分割槽（Partition），每個分割槽是一組有序的訊息日誌。生產者生產的每條訊息只會被髮送到一個分割槽中，也就是說如果向一個雙分割槽的主題傳送一條訊息，這條訊息要麼在分割槽
0 中，要麼在分割槽 1 中。
每個主題下可以有多個分割槽.
分割槽的作用:
- 提供擴充套件性, TOPIC 下可以增加分割槽
- 提供並行性. 方便多個消費都並行處理
Replication
備份的思想很簡單，就是把相同的資料拷貝到多臺機器上，而這些相同的資料拷貝在 Kafka 中被稱為副本（Replica）。
副本的數量是可以配置的，這些副本儲存著相同的資料，但卻有不同的角色和作用。Kafka 定義了兩類副本：領導者副本（Leader Replica）和追隨者副本（Follower Replica）。前者對外提供服務，這裡的對外指的是與客戶端程式進行互動；而後者只是被動地追隨領導者副本而已，不能與外界進行互動。
副本的作用:
保證了 KAFKA 容錯能力
Producer
生產者:
向主題釋出新訊息的應用程式。
生產者負責選擇將記錄分配給主題中的分割槽。可以簡單的以輪循的方式完成，也可以根據某些語義分割槽（例如基於記錄中的某些鍵）完成此操作。
客戶端程式只能與分割槽的領導者副本進行互動
Consumer
消費者
從主題訂閱新訊息的應用程式。 消費都必須要在消費組中, Topic
對應的分割槽平均分配到消費組的中消費例項上.
Consumer Group
消費組
每個consumer屬於一個特定的consumer group，可為每個consumer指定group
name，若不指定，則屬於預設的group，一條訊息可以傳送到不同的consumer
group，但一個consumer group中只能有一個consumer能消費這條訊息.
消費者與消費組的關係
由兩臺伺服器組成的Kafka群集，其中包含四個帶有兩個使用者組的分割槽（P0-P3）。消費者組A有兩個消費者例項，而組B有四個。
consumer group A中的C1 消費 P0和 P3分割槽的記錄
consumer group A中的C2 消費P1和P2分割槽的記錄
consumer group B有4個消費者,分別對應一個分割槽
Consumer Rebalance
消費者組裡面的所有消費者例項不僅“瓜分”訂閱主題的資料，而且更酷的是它們還能彼此協助。假設組內某個例項掛掉了，Kafka 能夠自動檢測到，然後把這個 Failed 例項之前負責的分割槽轉移給其他活著的消費者。
Offset
在 KAFKA 中,offSet有兩種含義
- 分割槽位移
訊息的是分割槽內的訊息位置,這個不變的.即一旦訊息被成功寫入到一個分割槽上，它的位移值就是固定的了
- 消費者位移
是隨時變化的，是消費者消費進度的指示器。另外每個消費者有著自己的消費者位移.
Kafka與傳統訊息引擎的對比:
點對點
傳統的訊息佇列模型的特點在於訊息一旦被消費，就會從佇列中被刪除，而且只能被下游的一個
Consumer 消費
釋出/訂閱
允許訊息被多個 Consumer 消費，每個訂閱者都必須要訂閱主題的所有分割槽。
Kafka 僅僅使用 Consumer Group 這一種機制，卻同時實現了傳統訊息引擎系統的兩大模型：如果所有例項都屬於同一個 Group，那麼它實現的就是訊息佇列模型；如果所有例項分別屬於不同的 Group，那麼它實現的就是釋出 / 訂閱模型。
理想情況下，Consumer 例項的數量應該等於該 Group 訂閱主題的分割槽總數。