flume消費kafka訊息的offset檢視方法
阿新 • • 發佈：2019-01-02
kafka版本1.0.1
flume版本1.8.0
offset已經不在zookeeper儲存了，儲存在__consumer_offsets這個topic裡面，具體哪個consumer group儲存在這個topic的哪個partition裡面通過下面計算方法確定：
public class HelloWorld {
public static void main(String[] args) {
String s2=new String("consumer_flume_kafka_topic_test");
System.out.println(Math.abs(s2.hashCode())%50);
}
}
確定好了partition id之後就可以用下面命令檢視資訊了：
./kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 48 --broker-list youBrokerListAddress --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"
有問題加QQ群：877769335
或者用QQ掃描二維碼加群：
