目錄:
1.ConsumerApi
2.High Level Consumer (遮蔽細節管理)
3.Low Level API (細節需要自己處理)

1.Kafka提供了兩種Consumer API

High Level Consumer API
Low Level Consumer API(Kafka詭異的稱之為Simple Consumer API，實際上非常複雜)
在選用哪種Consumer API時，首先要弄清楚這兩種API的工作原理，能做什麼不能做什麼，能做的話怎麼做的以及用的時候，有哪些可能的問題

2.High Level Consumer API概述

High Level Consumer API圍繞著Consumer Group這個邏輯概念展開，它遮蔽了每個Topic的每個Partition的Offset管理（自動讀取zookeeper中該Consumer group的last offset ）、Broker失敗轉移以及增減Partition、Consumer時的負載均衡(當Partition和Consumer增減時，Kafka自動進行負載均衡）
對於多個Partition，多個Consumer
如果consumer比partition多，是浪費，因為kafka的設計是在一個partition上是不允許併發的，所以consumer數不要大於partition數
如果consumer比partition少，一個consumer會對應於多個partitions，這裡主要合理分配consumer數和partition數，否則會導致partition裡面的資料被取的不均勻。最好partiton數目是consumer數目的整數倍，所以partition數目很重要，比如取24，就很容易設定consumer數目
如果consumer從多個partition讀到資料，不保證資料間的順序性，kafka只保證在一個partition上資料是有序的，但多個partition，根據你讀的順序會有不同
增減consumer，broker，partition會導致rebalance，所以rebalance後consumer對應的partition會發生變化
High-level介面中獲取不到資料的時候是會block的
關於Offset初始值的問題：
先produce一些資料，然後再用consumer讀的話，需要加上一句offset讀取設定

props.put("auto.offset.reset", "smallest"); //必須要加，如果要讀舊資料  

因為初始的offset預設是非法的，然後這個設定的意思 是，當offset非法時，如何修正offset，預設是largest，即最新，所以不加這個配置，你是讀不到你之前produce的資料的，而且這個 時候你再加上smallest配置也沒用了，因為此時offset是合法的，不會再被修正了，需要手工或用工具改重置offset

3. Low Level Consumer API概述

3.1Low Level Consumer API控制靈活性
Low Level Consumer API，作為底層的Consumer API，提供了消費Kafka Message更大的控制，如：
Read a message multiple times(重複讀取）
Consume only a subset of the partitions in a topic in a process（跳讀）
Manage transactions to make sure a message is processed once and only once（Exactly Once原語）

3.2 Low Level Consumer API的複雜性
軟體沒有銀彈，Low Level Consumer API提供更大靈活控制是以複雜性為代價的：
Offset不再透明
Broker自動失敗轉移需要處理
增加Consumer、Partition、Broker需要自己做負載均衡

You must keep track of the offsets in your application to know where you left off consuming.（Offset自己管理）
You must figure out which Broker is the lead Broker for a topic and partition(如果一個Partition有多個副本，那麼Lead Partition所在的Broker就稱為這個Partition的Lead Broker)
You must handle Broker leader changes（Broker Leader是個什麼概念）

3.3 使用Low Level Consumer API的步驟
Find an active Broker and find out which Broker is the leader for your topic and partition
Determine who the replica Brokers are for your topic and partition
Build the request defining what data you are interested in
Fetch the data
Identify and recover from leader changes