Kafka 是一個訊息系統，原本開發自 LinkedIn，用作 LinkedIn 的活動流（Activity Stream）和運營資料處理管道（Pipeline）的基礎

使用kafka的優勢：實現瞭解耦合

• Kafka 專用術語

Broker：Kafka 叢集包含一個或多個伺服器，這種伺服器被稱為 broker。（多個broker解決負載問題，當然也可以只有一個broker）

Topic：每條釋出到 Kafka 叢集的訊息都有一個類別，這個類別被稱為 Topic。（物理上不同 Topic 的訊息分開儲存，邏輯上一個 Topic 的訊息雖然保存於一個或多個 broker 上，但使用者只需指定訊息的 Topic 即可生產或消費資料而不必關心資料存於何處）。

Partition：Partition 是物理上的概念，每個 Topic 包含一個或多個 Partition。

Producer：負責釋出訊息到 Kafka broker。（可以是其他元件也可以是自定義的服務等，只要需要訊息傳遞都可以使用）

Consumer：訊息消費者，向 Kafka broker 讀取訊息的客戶端。

Consumer Group：每個 Consumer 屬於一個特定的 Consumer Group（可為每個 Consumer 指定 group name，若不指定 group name 則屬於預設的 group）。

Kafka各元件說明

Broker

每個kafka server稱為一個Broker，多個borker組成kafka cluster。

一個機器上可以部署一個或者多個Broker，這多個Broker連線到相同的ZooKeeper就組成了Kafka叢集。

Topic

Kafka是一個釋出訂閱訊息系統，它的邏輯結構如下：

Topic 就是訊息類別名，一個topic中通常放置一類訊息。每個topic都有一個或者多個訂閱者，也就是訊息的消費者consumer。

Producer將訊息推送到topic，由訂閱該topic的consumer從topic中拉取訊息。

Topic 與broker

一個Broker上可以建立一個或者多個Topic。同一個topic可以在同一叢集下的多個Broker中分佈。

Partition log

Kafka會為每個topic維護了多個分割槽（partition），每個分割槽會對映到一個邏輯的日誌（log）檔案：

每當一個message被髮布到一個topic上的一個partition，broker應會將該message追加到這個邏輯log檔案的最後一個segment上。這些segments 會被flush到磁碟上。Flush時可以按照時間來進行，也可以按照message 數來執行。

每個partition都是一個有序的、不可變的結構化的提交日誌記錄的序列。在每個partition中每一條日誌記錄都會被分配一個序號——通常稱為offset，offset在partition內是唯一的。論點邏輯檔案會被化分為多個檔案segment（每個segment的大小一樣的）。

         Broker叢集將會保留所有已釋出的message records，不管這些訊息是否已被消費。保留時間依賴於一個可配的保留週期。例如：如果設定了保留策略是2day，那麼每一條訊息釋出兩天內是被保留的，在這個2day的保留時間內，訊息是可以被消費的。過期後不再保留。

Partition distribution

日誌分割槽是分散式的存在於一個kafka叢集的多個broker上。每個partition會被複制多份存在於不同的broker上。這樣做是為了容災。具體會複製幾份，會複製到哪些broker上，都是可以配置的。經過相關的複製策略後，每個topic在每個broker上會駐留一到多個partition。如圖：

如果要了解kafka如何進行partition、replica 分配的，可以參考：