1. 程式人生 > >Kafka訊息保留策略

Kafka訊息保留策略

Kafka Broker預設的訊息保留策略是:要麼保留一定時間,要麼保留到訊息達到一定大小的位元組數。

當訊息達到設定的條件上限時,舊訊息就會過期並被刪除,所以,在任何時刻,可用訊息的總量都不會超過配置引數所指定的大小。

topic可以配置自己的保留策略,可以將訊息保留到不再使用他們為止。

因為在一個大檔案裡查詢和刪除訊息是很費時的事,也容易出錯,所以,分割槽被劃分為若干個片段。預設情況下,每個片段包含1G或者一週的資料,以較小的那個為準。在broker往leader分割槽寫入訊息時,如果達到片段上限,就關閉當前檔案,並開啟一個新檔案。當前正在寫入資料的片段叫活躍片段。當所有片段都被寫滿時,會清除下一個分割槽片段的資料,如果配置的是7個片段,每天開啟一個新片段,就會刪除一個最老的片段,迴圈使用所有片段。