1. 程式人生 > >kafka 刪除topic時的隱患

kafka 刪除topic時的隱患

生產上kafka叢集長時間使用會導致topic容器下已被消費的訊息過多,進而導致在重新選主時切換時間長的問題。

追根到底來講切換Leader時間都花費在zookeeper檔案同步上,但是kafka恰恰沒有清理已被消費訊息的機制,

故導致死屍訊息每次在節點重啟或者切主都會時間很常,而zookeeper提供了java API清理訊息的方法 ,

並且 需要配置delete.topic.enable=true,真正刪除而非標記刪除的“假刪除”,在刪除topic後需要重啟下kafka叢集,

否則感覺是出現topic沒有被建立訊息發來沒有容器存放導致叢集訊息無法被消費,這裡有待證實真是原因。