1、概念

broker:分布式中的每臺服務器即broker。

topic:每個消息類別放在一個topic。

partition:每個topic包含一個或多個partition。

producer:生產者

consumer:消費者

consumer group

2、存儲格式

每個topic邏輯上就是一個queue，每個partition物理上對應一個文件夾。

每個日誌文件都是一個log entrie序列，

message length ： 4 bytes (value: 1+4+n)
"magic" value ： 1 byte 
crc校驗碼 ： 4 bytes 
payload （partition偏移量）： 64 bytes

這個log entrie並非一個文件，而是由多個segment，每個segmen以t第一條消息的offset命名並以“.kafka”為後綴，另外會有一個索引文件，它標明了每個segment下包含的log entry的offset範圍。

kafka(1)