1. 程式人生 > >kafka消費者重複消費同一個topic

kafka消費者重複消費同一個topic

我的需求是我有多個消費者,需要重複消費某一個topic。
場景是sparkstreaming消費kafka資料
在這裡sparkstream和kafka都是單節點的叢集模式。
同時起兩個不同的groupid的應用,發現會發生後起來的應用消費不到資料。
按理來講不同的groupid屬於不同的消費組,不會相互影響。由於是使用的cdh整合的kafka,不知道cdh裡的zookeeper管理kafka的資料存在了什麼地方,也無從考證kafka消費者的相關資訊。
於是修改了建立topic的語句。
之前建立topic的時候都是一份備份,一個分割槽。
現改成了三個備份三個分割槽。
結果就能夠滿足我的需求了,多個應用程式可以重複消費同一個topic了。
這個需要我後面要就下,zookeeper管理kafka 的資料存到了什麼地方,已經建立了三個備份三個分割槽之後,每個分割槽裡的資料是不是一樣才使得其能夠滿足多個應用。


還有個問題就是在其他的機器上,同樣是單節點的叢集環境,topic及時只是單個備份,指定一個分割槽對應用不會產生影響,這個現象還有待後續再研究一下。