1. 程式人生 > >kafka分區

kafka分區

水平 round org bin part 新的 策略 nts zookeepe

一、topic下引入partition的作用:
topic是邏輯的概念,partition是物理的概念。
為了性能考慮,如果topic內的消息只存於一個broker,那這個broker會成為瓶頸,無法做到水平擴展。kafka通過算法盡可能的把partition分配到集群的不同服務器上。
partition也可以理解為segment的封裝。一個partition對應多個segment。一個segment包含一個數據文件和一個索引文件

二、kafka分區分配策略:

partition.assignment.strategy= range(默認值) 或 roundrobin

range策略:分區順序排序,消費者按照字母排序。

partitions的個數除於消費者線程的總數來決定每個消費者線程消費幾個分區。如果除不盡,那麽前面幾個消費者線程將會多消費一個分區。
假設有3個消費者11個分區
C1-0 將消費 0, 1, 2, 3 分區
C1-2 將消費 4, 5, 6, 7 分區
C1-3 將消費 8, 9, 10 分區
roundrobin策略:分區按照hashcode排序,消費者按照字母排序
假設有3個消費者11個分區
C1-0 將消費 0, 3, 6, 9 分區
C1-2 將消費 1, 4, 7, 10 分區
C1-3 將消費 2, 5, 8 分區

註意:
1、一個分區只能被一個消費者消費,但一個消費者可以消費多個分區的數據
2、新的api中預留了自己實現分配策略的可能性class org.apache.kafka.clients.consumer.RangeAssignor

三、分區修改./kafka-topics.sh --alter --topic topic1 --zookeeper zkip:2181/kafka --partitions 6

kafka分區