1. 程式人生 > >kafka的數據結構

kafka的數據結構

x文件 cati AR 就是 其他 log 假設 索引 文件

一個topic是一個邏輯的概念,一個topic對應多個partition,每個partition在一個broker中,一個partition會有多個replication放到自己和其他的broker中,比如如果8個broker,每個partition會有自己一個,還有4個副本,也就是5個部分。如果該partition的編號是2

那麽自己會被放到2號broker(從0開始編號),其他的四個放到3-6中。

每一個partition中,消息(假設400K一個文件),那麽前N條message,滿0-399K,放到第一個0000000000399.log中,然後會有一個000000000000399.index文件,稀疏的放著對應log文件中的索引(目錄)

kafka的數據結構