訊息傳送方式

想清楚Kafka傳送的訊息是否丟失，需要先了解Kafka訊息的傳送方式。

Kafka訊息傳送分同步(sync)、非同步(async)兩種方式

預設是使用同步方式，可通過producer.type屬性進行配置；

Kafka保證訊息被安全生產，有三個選項分別是0,1,-1

通過request.required.acks屬性進行配置：

0代表：不進行訊息接收是否成功的確認(預設值)；

1代表：當Leader副本接收成功後，返回接收成功確認資訊；

-1代表：當Leader和Follower副本都接收成功後，返回接收成功確認資訊；

六種傳送場景

兩個維度相交，生成六種情況，如下圖：

訊息丟失的場景

網路異常

acks設定為0時，不和Kafka叢集進行訊息接受確認，當網路發生異常等情況時，存在訊息丟失的可能；

客戶端異常

非同步傳送時，訊息並沒有直接傳送至Kafka叢集，而是在Client端按一定規則快取並批量傳送。在這期間，如果客戶端發生宕機等情況，都會導致訊息的丟失；

緩衝區滿了

非同步傳送時，Client端快取的訊息超出了緩衝池的大小，也存在訊息丟失的可能；

Leader副本異常

acks設定為1時，Leader副本接收成功，Kafka叢集就返回成功確認資訊，而Follower副本可能還在同步。這時Leader副本突然出現異常，新Leader副本(原Follower副本)未能和其保持一致，就會出現訊息丟失的情況；

以上就是訊息丟失的幾種情況，在日常應用中，我們需要結合自身的應用場景來選擇不同的配置。

想要更高的吞吐量就設定：非同步、ack=0；想要不丟失訊息資料就選：同步、ack=-1策略

附：Kafka備份策略，不理解的可以看我的另一篇文章《Kafka訊息的備份策略》