水平 round org bin part 新的 策略 nts zookeepe

一、topic下引入partition的作用：
topic是邏輯的概念，partition是物理的概念。
為了性能考慮，如果topic內的消息只存於一個broker，那這個broker會成為瓶頸，無法做到水平擴展。kafka通過算法盡可能的把partition分配到集群的不同服務器上。
partition也可以理解為segment的封裝。一個partition對應多個segment。一個segment包含一個數據文件和一個索引文件

二、kafka分區分配策略：

partition.assignment.strategy= range（默認值） 或 roundrobin

range策略:分區順序排序，消費者按照字母排序。

partitions的個數除於消費者線程的總數來決定每個消費者線程消費幾個分區。如果除不盡，那麽前面幾個消費者線程將會多消費一個分區。
假設有3個消費者11個分區
C1-0 將消費 0, 1, 2, 3 分區
C1-2 將消費 4, 5, 6, 7 分區
C1-3 將消費 8, 9, 10 分區
roundrobin策略：分區按照hashcode排序，消費者按照字母排序
假設有3個消費者11個分區
C1-0 將消費 0, 3, 6, 9 分區
C1-2 將消費 1, 4, 7, 10 分區
C1-3 將消費 2, 5, 8 分區

註意：
1、一個分區只能被一個消費者消費，但一個消費者可以消費多個分區的數據
2、新的api中預留了自己實現分配策略的可能性class org.apache.kafka.clients.consumer.RangeAssignor

三、分區修改./kafka-topics.sh --alter --topic topic1 --zookeeper zkip:2181/kafka --partitions 6

kafka分區