原理解析

producer建立一個topic時，可以指定該topic為幾個partition（預設是1，配置num.partitions），然後會把partition分配到每個broker上，分配的演算法是：a個broker，第b個partition分配到b%a的broker上，可以指定有每個partition有幾分副本Replication，副本的分配策略為：第c個副本儲存在第（b+c）%a的broker上。一個partition在每個broker上是一個資料夾，資料夾中檔案的命名方式為：topic名稱+有序序號。每個partition中檔案是一個個的segment，segment file由.index和.log檔案組成。兩個檔案的命名規則是，上一個segmentfile的最後一個offset。這樣，可以快速的刪除old檔案。

producer往kafka裡push資料，會自動的push到所有的分割槽上，訊息是否push成功有幾種情況：1，接收到partition的ack就算成功，2全部副本都寫成功才算成功；資料可以儲存多久，預設是兩天；producer的資料會先存到快取中，等大小或時間達到閾值時，flush到磁碟，consumer只能讀到磁碟中的資料。

consumer從kafka裡poll資料，poll到一定配置大小的資料放到記憶體中處理。每個group裡的consumer共同消費全部的訊息，不同group裡的資料不能消費同樣的資料，即每個group消費一組資料；consumer的數量和partition的數量相等時消費的效率最高。

這樣，kafka可以橫向的擴充broker數量和partitions；資料順序寫入磁碟；producer和consumer非同步

kafka安裝

• 上傳到focuson1，解壓，配置server.properties.然後考到focuson2、focuson3.

3個broker，broker.id,分別為0,1,2.其餘的見如下配置，

vi config/server.properties
broker.id=0
num.partitions=3
zookeeper.connect=focuson1:2181,focuson2:2181,focuson3:2181 

• 啟動，在三個節點分別執行：
  

nohup ./bin/kafka-server-start.sh config/server.properties &
 

• 建立一個topic並檢視所有的topic，可指定該topic的分割槽，副本數量

[[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper focuson1:2181 --replication-factor 2 --partitions 3 --topic focuson_test1
WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
Created topic "focuson_test1".

[[email protected] kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper focuson2:2181
focuson_test1

 

• 使用shell啟動該topic的producer，可在裡面寫入資料。
  

bin/kafka-console-producer.sh --broker-list focuson1:9092,focuson2:9092,focuson3:9092 --topic focuson_test1

• 檢視各個broker的資料分割槽情況，以及副本儲存情況

[[email protected] kafka-logs]# ll
total 28
-rw-r--r-- 1 root root    4 May 12 08:31 cleaner-offset-checkpoint
drwxr-xr-x 2 root root 4096 May 12 08:32 focuson_test1-0
drwxr-xr-x 2 root root 4096 May 12 08:32 focuson_test1-1
-rw-r--r-- 1 root root    4 May 12 08:48 log-start-offset-checkpoint
-rw-r--r-- 1 root root   54 May 12 08:09 meta.properties
-rw-r--r-- 1 root root   40 May 12 08:48 recovery-point-offset-checkpoint
-rw-r--r-- 1 root root   40 May 12 08:49 replication-offset-checkpoint
[[email protected] kafka-logs]# ll focuson_test1-0
total 8
-rw-r--r-- 1 root root 10485760 May 12 08:24 00000000000000000000.index
-rw-r--r-- 1 root root      162 May 12 08:33 00000000000000000000.log
-rw-r--r-- 1 root root 10485756 May 12 08:24 00000000000000000000.timeindex
-rw-r--r-- 1 root root        8 May 12 08:32 leader-epoch-checkpoint

[[email protected] kafka-logs]# ll
total 24
-rw-r--r-- 1 root root    0 May 12 08:11 cleaner-offset-checkpoint
drwxr-xr-x 2 root root 4096 May 12 08:32 focuson_test1-1
drwxr-xr-x 2 root root 4096 May 12 08:32 focuson_test1-2
-rw-r--r-- 1 root root    4 May 12 08:33 log-start-offset-checkpoint
-rw-r--r-- 1 root root   54 May 12 08:11 meta.properties
-rw-r--r-- 1 root root   40 May 12 08:33 recovery-point-offset-checkpoint
-rw-r--r-- 1 root root   40 May 12 08:33 replication-offset-checkpoint

[[email protected] kafka-logs]# ll
total 24
-rw-r--r-- 1 root root    0 May 12 08:12 cleaner-offset-checkpoint
drwxr-xr-x 2 root root 4096 May 12 08:32 focuson_test1-0
drwxr-xr-x 2 root root 4096 May 12 08:32 focuson_test1-2
-rw-r--r-- 1 root root    4 May 12 08:45 log-start-offset-checkpoint
-rw-r--r-- 1 root root   54 May 12 08:12 meta.properties
-rw-r--r-- 1 root root   40 May 12 08:45 recovery-point-offset-checkpoint
-rw-r--r-- 1 root root   40 May 12 08:46 replication-offset-checkpoint

zookeeper與kafka

broker 會在zookeeper上註冊臨時節點，當該broker臨時節點斷開時，能監控到變化，可以是producer等進行負載均衡

topic。zookeeper上會有每個topic的partition的分佈情況，當broker啟動或新增時，會到topic下把自己加入到對應partition的isr（In-Sync Replicas的縮寫，表示副本同步佇列）列表。同樣的，當broker退出時，也會觸發zookeeper更新其對應topic分割槽的isr列表，並決定是否需要做消費者的負載均衡。