1. 程式人生 > >Kafka 關於消費者組名Consumer Group

Kafka 關於消費者組名Consumer Group

由於本人是在Windows個人機上搭建了一個Kafka服務。所以使用中遇到了一個棘手的問題,也是第一次使用Kafka訊息佇列,所以對其核心知識知之甚少。

一個困擾了些許時日的問題,經常因為log檔案正被另一個程序使用中,而導致Kafka掛掉。

經過排查,最後發現是由於有多個工程在連線Kafka服務充當消費者,而消費者組名是相同的,因為我這裡是有很多topic,多個消費者工程針對不同topic在同時執行的時候,Kafka會把組名相同的log寫入同一個log檔案。然而Windows機器又不允許多個程序同時搞一個log檔案,所以經常導致服務掛掉。

解決方法:如果業務實際的確存在多個多個消費者同時消費不同的topic(同一個topic的訊息是不能被多個消費者重複讀取的),各個消費者工程,可以選擇不同的Consumer Group名稱(我沒有修改預設配置,應該是最多能接受50個消費者組),如此各個消費者組的執行log就不會寫入同一個log檔案,避開了Windows的檔案機制。