【Flink 系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer沒有上報指標
阿新 • • 發佈:2022-03-24
問題
使用了Flink-Kafka-Connector(版本1.13.0),使用FlinkKafkaConsumer 上報了KafkaLag指標,但是換成 KafkaSource 卻沒有任何指標。
原因
通過查閱 JIRA發現,Flink-1.13的 kafka-connector 的新版KafkaSource 沒有上報指標。
Report metrics of KafkaConsumer in Kafka new source
修復的版本:1.13.2, 1.14,意思是升級到這兩個版本才能上報Kafka相關的指標。
參考連結
Flink 發起的KafkaSource 提議
Flink-Kafka-Connector 和 KafkaClients的相容性說明
Flink-1.13.2+ 使用的Kafka API至少2.4.1。
- Kafka版本的相容性未在官方文件中指出。Flink原始碼中引用的版本是 kafka-clients 2.4.1。
Flink-1.13.2 使用到新版的KafkaAPI 變更的說明
解決方案
Flink 1.13的發行版,可以直接使用1.13.2的Flink-kafka-connector。
依據:通過檢視 有關原始碼 FLINK-22766,發現該Connector的變更不依賴除Connector以外的任何變更,因此可以相容Flink-1.13.0。
也可以把Flink發行版+Connector直接升級到 Flink-1.13.2,Flink-1.14。