kafka service.xml配置
阿新 • • 發佈:2018-12-10
# broker在叢集中的唯一標識(>=0),當該伺服器的IP地址發生改變時,broker.id沒有變化,不會影響consumers broker.id =0 # kafka資料的存放地址,多個地址的話用逗號分割 /opt/log/kafka/logs1,/opt/log/kafka/logs2 log.dirs=/opt/log/kafka/logs # broker server服務埠 port =9092 # 是否允許自動建立topic,若是false,就需要通過命令建立topic auto.create.topics.enable =true # 每個topic的分割槽個數,若是在topic建立時候沒有指定的話會被topic建立時的指定引數覆蓋num.partitions =10 # 表示訊息體的最大大小,單位是位元組 message.max.bytes =6525000 # broker處理訊息的最大執行緒數,一般情況下不需要去修改 num.network.threads =4 # broker處理磁碟IO的執行緒數,數值應該大於你的硬碟數 num.io.threads =8 # 一些後臺任務處理的執行緒數,例如過期訊息檔案的刪除等,一般情況下不需要去做修改 background.threads =4 # 等待IO執行緒處理的請求佇列最大數,若是等待IO的請求超過這個數值,那麼會停止接受外部訊息,是一種自我保護機制。 queued.max.requests=500 # socket的傳送緩衝區,socket的調優引數SO_SNDBUFF socket.send.buffer.bytes=100*1024 # socket的接受緩衝區,socket的調優引數SO_RCVBUFF socket.receive.buffer.bytes =100*1024 # socket請求的最大數值,防止serverOOM,message.max.bytes必然要小於socket.request.max.bytes,會被topic建立時的指定引數覆蓋 socket.request.max.bytes =100*1024*1024 # *******************以下為日誌定時清除策略***********************# 設定每個segment的大小為200*1024*1024 【200M】,超過大小重新建立新的segment log.segment.bytes=209715200 # 日誌清理策略選擇有:delete和compact主要針對過期資料的處理,delete 為不可恢復;compact 為壓縮 log.cleanup.policy = delete # 每5分鐘【5*60*1000】檢查一次是否有segment已經超過5h沒更新,如果有則標記為.deleted log.retention.check.interval.ms=300000 log.retention.hours=5 # topic每個分割槽的最大檔案大小5G,一個topic的大小限制 = 分割槽數*log.retention.bytes。-1沒有大小限,log.retention.bytes和log.retention.hours 任意一個達到要求,都會執行刪除(標記為.deleted) log.retention.bytes=5368709120 # 10分鐘檢查一次是否有被 標記為deleted的segment,如果有將其從檔案系統刪除 log.cleaner.backoff.ms=600000 # 對於壓縮的日誌保留的最長時間,也是客戶端消費訊息的最長時間,同log.retention.minutes/hours的區別在於一個控制未壓縮資料,一個控制壓縮後的資料。會被topic建立時的指定引數覆蓋 log.cleaner.delete.retention.ms =1day # 是否開啟日誌壓縮 log.cleaner.enable=false # 日誌壓縮執行的執行緒數 log.cleaner.threads = 2 # 日誌壓縮時候處理的最大大小 log.cleaner.io.max.bytes.per.second=None # 日誌壓縮去重時候的快取空間,在空間允許的情況下,越大越好 log.cleaner.dedupe.buffer.size=500*1024*1024 # 對於segment日誌的索引檔案大小限制,會被topic建立時的指定引數覆蓋 log.index.size.max.bytes =10*1024*1024
其他引數使用預設的即可