技術標籤：大資料kafka大資料

1、獲取消費者的消費資訊

1、問題描述

  在專案中，將訊息推送到訊息中介軟體Kafka或者從其上拉取資料時，想知道一個消費者（組）對於訊息的消費情況。經常的做法是從zookeeper的節點/consumers中獲取消費者的消費資訊，但是會遇到這樣的一個問題：
  往Kafka中推送資料，zookeeper的節點/consumers = null，即沒有消費者的消費資訊，但是Kafka卻可以正常消費資料，這樣的過程可能經過一段時間後，zookeeper的節點/consumers會有消費者的資訊，然後通過下面的指令可以獲得消費者組的一些消費情況：

bin/kafka-
 
consumer-offset-checker.sh --zookeeper xiaolunserver:2181 --group test_consumer_group --topic test_topic

  這等待的時間無法忍受，所以使用下面的方法進行獲取消費者組的消費資訊。

2、解決方法

1、方式1
   檢視所有消費者組 consumer group列表

# 儲存到broker中
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server xiaolunserver:9092  --list

# 儲存到zookeeper中
 

bin/kafka-consumer-groups.sh --zookeeper xiaolunserver:2181 --list

   獲取消費者組列表後，對列表中的消費者組的情況進行檢視

# 儲存到broker中
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server xiaolunserver:9092 --group test_consumer_group --describe

# 儲存到zookeeper中
bin/kafka-consumer-groups.sh --zookeeper xiaolunserver:
 
2181 --group test_consumer_group --describe

2、方式2

bin/kafka-console-consumer.sh  --bootstrap-server xiaolunserver:9092 --topic first --consumer-property-group.id=group01