1. 程式人生 > >kafka清理資料

kafka清理資料

預設配置server.conf裡的核心配置項 #最大日誌保留大小 log.retention.bytes=1073741824 #日誌保留時間長度 log.retention.minutes=10 log.segment.delete.delay.ms=1000 #過期資料刪除策略,最重要的配置 log.cleaner.enable=true log.cleanup.policy=delete #以上配置只對預設配置,屬於全域性配置,並不一定對全部topic起效 如果以上配置對你的topics不起效果,說明該topics有獨立的特殊配置,用以下命令查詢該topics的特殊配置(過載配置) #localhost:2182是zookeeper的ip和埠,__consumer_offsets是要查詢的topics bin/kafka-configs.sh --zookeeper localhost:2182 --entity-type topics --entity-name __consumer_offsets --describe
#假如結果如下: Configs for topics:__consumer_offsets are segment.bytes=104857600,cleanup.policy=compact,compression.type=uncompressed 則說明segment.bytes、cleanup.policy、compression.type這三個配置項是針對topics的,server.conf配置log.cleanup.policy, log.segment.bytes 沒有起效,如果想讓該配置跟隨server.conf配置,則執行以下命令,一個個刪除特殊配置 bin/kafka-configs.sh --zookeeper localhost:2182 --entity-type topics --entity-name __consumer_offsets --alter --delete-config cleanup.policy 如果想修改,則用以下命令 bin/kafka-configs.sh --zookeeper localhost:2182  --entity-type topics --entity-name __consumer_offsets --alter --delete-config cleanup.policy=delete

然後你就會發現,日誌基本被清空了!!!