1. 程式人生 > 其它 >【Flink 系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer沒有上報指標

【Flink 系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer沒有上報指標

問題

使用了Flink-Kafka-Connector(版本1.13.0),使用FlinkKafkaConsumer 上報了KafkaLag指標,但是換成 KafkaSource 卻沒有任何指標。

原因

通過查閱 JIRA發現,Flink-1.13的 kafka-connector 的新版KafkaSource 沒有上報指標。
Report metrics of KafkaConsumer in Kafka new source

修復的版本:1.13.2, 1.14,意思是升級到這兩個版本才能上報Kafka相關的指標。

參考連結

Flink 發起的KafkaSource 提議

Flink-1.13.2+ 使用的Kafka API至少2.4.1。

  • Kafka版本的相容性未在官方文件中指出。Flink原始碼中引用的版本是 kafka-clients 2.4.1。

Flink-1.13.2 使用到新版的KafkaAPI 變更的說明

解決方案

Flink 1.13的發行版,可以直接使用1.13.2的Flink-kafka-connector。

依據:通過檢視 有關原始碼 FLINK-22766,發現該Connector的變更不依賴除Connector以外的任何變更,因此可以相容Flink-1.13.0。

也可以把Flink發行版+Connector直接升級到 Flink-1.13.2,Flink-1.14。