kafka清理資料
阿新 • • 發佈:2019-01-28
預設配置server.conf裡的核心配置項
#最大日誌保留大小
log.retention.bytes=1073741824
#日誌保留時間長度
log.retention.minutes=10
log.segment.delete.delay.ms=1000
#過期資料刪除策略,最重要的配置
log.cleaner.enable=true
log.cleanup.policy=delete
#以上配置只對預設配置,屬於全域性配置,並不一定對全部topic起效
如果以上配置對你的topics不起效果,說明該topics有獨立的特殊配置,用以下命令查詢該topics的特殊配置(過載配置)
#localhost:2182是zookeeper的ip和埠,__consumer_offsets是要查詢的topics
bin/kafka-configs.sh --zookeeper localhost:2182 --entity-type topics --entity-name __consumer_offsets --describe
#假如結果如下:
Configs for topics:__consumer_offsets are segment.bytes=104857600,cleanup.policy=compact,compression.type=uncompressed
則說明segment.bytes、cleanup.policy、compression.type這三個配置項是針對topics的,server.conf配置log.cleanup.policy, log.segment.bytes 沒有起效,如果想讓該配置跟隨server.conf配置,則執行以下命令,一個個刪除特殊配置
bin/kafka-configs.sh --zookeeper localhost:2182 --entity-type topics --entity-name __consumer_offsets --alter --delete-config cleanup.policy
如果想修改,則用以下命令
bin/kafka-configs.sh --zookeeper localhost:2182 --entity-type topics --entity-name __consumer_offsets --alter --delete-config cleanup.policy=delete
然後你就會發現,日誌基本被清空了!!!