1. 程式人生 > 其它 >kafka檔案儲存機制

kafka檔案儲存機制

1.index為稀疏索引,大約每往log檔案寫入4kb資料,會往index檔案寫入一條索引。注意: 引數log.index.interval.bytes預設4kb。
2.Index檔案中儲存的offset為相對offset,這樣能確保offset的值所佔空間不會過大, 因此能將offset的值控制在固定大小

檔案清理策略
Kafka 中預設的日誌儲存時間為 7 天,可以通過調整如下引數修改儲存時間。

  • log.retention.hours,最低優先順序小時,預設7天。
  • log.retention.minutes,分鐘。
  • log.retention.ms,最高優先順序毫秒。
  • log.retention.check.interval.ms,負責設定檢查週期,預設5分鐘。 那麼日誌一旦超過了設定的時間,怎麼處理呢?

Kafka 中提供的日誌清理策略有 delete 和 compact 兩種。
1)delete 日誌刪除:將過期資料刪除
log.cleanup.policy = delete 所有資料啟用刪除策略
(1)基於時間:預設開啟。以 segment 中所有記錄中的最大時間戳作為該檔案時間戳。 (2)基於大小:預設關閉。超過設定的所有日誌總大小,刪除最早的 segment。
log.retention.bytes,預設等於-1,表示無窮大。