一、應用場景

• 大量掃碼/刷卡交易訂單日誌傳輸
• 日誌採集

二、產生原因

• 日誌採集客戶端（Producer）：
  • 超時重傳，日誌重複（enable.idempotence=false重複傳送）
  • 訊息失敗，未持久化（acks=0不重試；或acks=1但leader閃退）
  • 批量傳送，資料亂序（max.in.flight.requests.per.connection>1批量傳送）
• Kafka伺服器：
  • OSR參與選舉，導致訊息丟失（unclean.leader.election.enable=true脫節選舉）
  • ISR列表為1或空，未備份（min.insync.replicas<=1副本過少）
• 日誌處理應用（Consumer）：
  • 消費異常，訊息丟失（enable-auto-commit=true自動提交）
  • 未提交Offset，重複消費（異常閃退和重平衡）

三、解決方案

• 日誌採集客戶端（Producer）：

  ## 解決亂序問題
  ## 批量傳送改為每次逐個傳送，預設5
  max.in.flight.requests.per.connection=1
  
  ## 解決重複生產
  ## 每個ProducerId全域性唯一;ack=all和retries>1保證持久化
  enable.idempotence=true
  ack=all
  retries=2
  ## 轉移處理異常生產
  

• Kafka伺服器：

  ## 解決資料丟失問題
  ## 禁止OSR參與選取leader
  unclean.leader.election.enable=false
  ## ISR列表至少2個以上
  min.insync.replicas=2
  

• 日誌處理應用（Consumer）：

  ## 解決訊息丟失
  ## 禁止自動提交
  enable.auto.commit=false
  
  ## 重複消費
  ## 介面冪等性；MySQL記錄每一個Offset消費狀態；
  

四、引數