2. 程式人生 > >kafka所有配置引數說明

kafka所有配置引數說明

阿新 • • 發佈：2019-01-06

轉自：http://blog.csdn.net/lizhitao/article/details/25667831

apache kafka中國社群QQ群:162272557

每個kafka broker中配置檔案server.properties預設必須配置的屬性如下：

  1. broker.id=0
  2. num.network.threads=2
  3. num.io.threads=8
  4. socket.send.buffer.bytes=1048576
  5. socket.receive.buffer.bytes=1048576
  6. socket.request.max.bytes=104857600
  7. log.dirs=/tmp/kafka-logs  
  8. num.partitions=2
  9. log.retention.hours=168
  10. log.segment.bytes=536870912
  11. log.retention.check.interval.ms=60000
  12. log.cleaner.enable=false
  13. zookeeper.connect=localhost:2181
  14. zookeeper.connection.timeout.ms=1000000

server.properties中所有配置引數說明(解釋)如下列表：

引數

說明(解釋)

broker.id =0

每一個broker在叢集中的唯一表示，要求是正數。當該伺服器的IP地址發生改變時，

broker.id沒有變化，則不會影響consumers的訊息情況

log.dirs=/data/kafka-logs

kafka資料的存放地址，多個地址的話用逗號分割/data/kafka-logs-1，/data/kafka-logs-2

port =9092

broker server服務埠

message.max.bytes =6525000

表示訊息體的最大大小，單位是位元組

num.network.threads =4

broker處理訊息的最大執行緒數，一般情況下不需要去修改

num.io.threads =8

broker處理磁碟IO的執行緒數，數值應該大於你的硬碟數

background.threads =4

一些後臺任務處理的執行緒數，例如過期訊息檔案的刪除等，一般情況下不需要去做修改

queued.max.requests =500

等待IO執行緒處理的請求佇列最大數，若是等待IO的請求超過這個數值，那麼會停止接受外部訊息，應該是一種自我保護機制。

host.name

broker的主機地址，若是設定了，那麼會繫結到這個地址上，若是沒有，會繫結到所有的介面上，並將其中之一發送到ZK，一般不設定

socket.send.buffer.bytes=100*1024

socket的傳送緩衝區，socket的調優引數SO_SNDBUFF

socket.receive.buffer.bytes =100*1024

socket的接受緩衝區，socket的調優引數SO_RCVBUFF

socket.request.max.bytes =100*1024*1024

socket請求的最大數值，防止serverOOM，message.max.bytes必然要小於socket.request.max.bytes，會被topic建立時的指定引數覆蓋

log.segment.bytes =1024*1024*1024

topic的分割槽是以一堆segment檔案儲存的，這個控制每個segment的大小，會被topic建立時的指定引數覆蓋

log.roll.hours =24*7

這個引數會在日誌segment沒有達到log.segment.bytes設定的大小，也會強制新建一個segment會被 topic建立時的指定引數覆蓋

log.cleanup.policy = delete

日誌清理策略選擇有：delete和compact主要針對過期資料的處理，或是日誌檔案達到限制的額度，會被 topic建立時的指定引數覆蓋

log.retention.minutes=3days

資料儲存的最大時間超過這個時間會根據log.cleanup.policy設定的策略處理資料，也就是消費端能夠多久去消費資料

log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic建立時的指定引數覆蓋

log.retention.bytes=-1

topic每個分割槽的最大檔案大小，一個topic的大小限制 =分割槽數*log.retention.bytes。-1沒有大小限log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic建立時的指定引數覆蓋

log.retention.check.interval.ms=5minutes

檔案大小檢查的週期時間，是否處罰 log.cleanup.policy中設定的策略

log.cleaner.enable=false

是否開啟日誌壓縮

log.cleaner.threads = 2

日誌壓縮執行的執行緒數

log.cleaner.io.max.bytes.per.second=None

日誌壓縮時候處理的最大大小

log.cleaner.dedupe.buffer.size=500*1024*1024

日誌壓縮去重時候的快取空間，在空間允許的情況下，越大越好

log.cleaner.io.buffer.size=512*1024

日誌清理時候用到的IO塊大小一般不需要修改

log.cleaner.io.buffer.load.factor =0.9

日誌清理中hash表的擴大因子一般不需要修改

log.cleaner.backoff.ms =15000

檢查是否處罰日誌清理的間隔

log.cleaner.min.cleanable.ratio=0.5

日誌清理的頻率控制，越大意味著更高效的清理，同時會存在一些空間上的浪費，會被topic建立時的指定引數覆蓋

log.cleaner.delete.retention.ms =1day

對於壓縮的日誌保留的最長時間，也是客戶端消費訊息的最長時間，同log.retention.minutes的區別在於一個控制未壓縮資料，一個控制壓縮後的資料。會被topic建立時的指定引數覆蓋

log.index.size.max.bytes =10*1024*1024

對於segment日誌的索引檔案大小限制，會被topic建立時的指定引數覆蓋

log.index.interval.bytes =4096

當執行一個fetch操作後，需要一定的空間來掃描最近的offset大小，設定越大，代表掃描速度越快，但是也更好記憶體，一般情況下不需要搭理這個引數

log.flush.interval.messages=None

log檔案”sync”到磁碟之前累積的訊息條數,因為磁碟IO操作是一個慢操作,但又是一個”資料可靠性"的必要手段,所以此引數的設定,需要在"資料可靠性"與"效能"之間做必要的權衡.如果此值過大,將會導致每次"fsync"的時間較長(IO阻塞),如果此值過小,將會導致"fsync"的次數較多,這也意味著整體的client請求有一定的延遲.物理server故障,將會導致沒有fsync的訊息丟失.

log.flush.scheduler.interval.ms =3000

檢查是否需要固化到硬碟的時間間隔

log.flush.interval.ms = None

僅僅通過interval來控制訊息的磁碟寫入時機,是不足的.此引數用於控制"fsync"的時間間隔,如果訊息量始終沒有達到閥值,但是離上一次磁碟同步的時間間隔達到閥值,也將觸發.

log.delete.delay.ms =60000

檔案在索引中清除後保留的時間一般不需要去修改

log.flush.offset.checkpoint.interval.ms =60000

控制上次固化硬碟的時間點，以便於資料恢復一般不需要去修改

auto.create.topics.enable =true

是否允許自動建立topic，若是false，就需要通過命令建立topic

default.replication.factor =1

是否允許自動建立topic，若是false，就需要通過命令建立topic

num.partitions =1

每個topic的分割槽個數，若是在topic建立時候沒有指定的話會被topic建立時的指定引數覆蓋

以下是kafka中Leader,replicas配置引數

controller.socket.timeout.ms =30000

partition leader與replicas之間通訊時,socket的超時時間

controller.message.queue.size=10

partition leader與replicas資料同步時,訊息的佇列尺寸

replica.lag.time.max.ms =10000

replicas響應partition leader的最長等待時間，若是超過這個時間，就將replicas列入ISR(in-sync replicas)，並認為它是死的，不會再加入管理中

replica.lag.max.messages =4000

如果follower落後與leader太多,將會認為此follower[或者說partition relicas]已經失效

##通常,在follower與leader通訊時,

相關推薦

kafka所有配置引數說明

轉自：http://blog.csdn.net/lizhitao/article/details/25667831 apache kafka中國社群QQ群:162272557 每個kafka broker中配置檔案server.properties預設必須配置的屬性

kafka中配置引數的說明

每個kafka broker中配置檔案server.properties預設必須配置的屬性如下： broker.id=0   num.network.threads=2   num.io.threads=8  

kafka常用配置引數及解釋

auto.create.topics.enable=true #自動建立topic auto.leader.rebalance.enable=true compression.type=producer controlled.shutdown.enable=true con

kafka實戰 - 處理大檔案需要注意的配置引數

概述 　　kafka配置引數有很多，可以做到高度自定義。但是很多使用者拿到kafka的配置檔案後，基本就是配置一些host，port，id之類的資訊，其他的配置項採用預設配置，就開始使用了。這些預設配置是經過kafka官方團隊經過嚴謹寬泛的測試之後，求到的最優值。在單條資訊很小，大部分場景下都能得到優異的效

Kafka 配置引數（非常好的總結）

轉載自：http://ju.outofmemory.cn/entry/119243 Kafka為broker,producer和consumer提供了很多的配置引數。 瞭解並理解這些配置引數對於我們使用kafka是非常重要的。 本文列出了一些重要的配置引數。 官方的文

kafka配置引數說明及工作原理

訊息佇列的效能好壞，其檔案儲存機制設計是衡量一個訊息佇列服務技術水平和最關鍵指標之一。下面將從Kafka檔案儲存機制和物理結構角度，分析Kafka是如何實現高效檔案儲存，及實際應用效果。 1.1  Kafka的特性:- 高吞吐量、低延遲：kafka每秒可以處理幾十萬條訊息，它的延遲最低只有幾毫秒，每個topi

kafka優化–JVM引數配置優化

主要是啟動指令碼和log4j基本引數的設定和優化，這些引數藏的比較深。 1、JVM引數配置優化 如果使用的CMS GC演算法，建議JVM Heap不要太大，在4GB以內就可以。JVM太大，導致Major GC或者Full GC產生的“stop the world”

Kafka配置引數

Kafka為broker,producer和consumer提供了很多的配置引數。 瞭解並理解這些配置引數對於我們使用kafka是非常重要的。 本文列出了一些重要的配置引數。 官方的文件 Configuration比較老了，很多引數有所變動， 有些名字也有所改變。我在整理

Kafka配置引數詳解

producer組將會彙總任何在請求與傳送之間到達的訊息記錄一個單獨批量的請求。通常來說，這隻有在記錄產生速度大於傳送速度的時候才能發生。然而，在某些條件下，客戶端將希望降低請求的數量，甚至降低到中等負載一下。這項設定將通過增加小的延遲來完成--即，不是立即傳送一條記錄，producer將會等待給定的

三、kafka安裝配置

取數 自我保護 ash cti 條件 hostname 寫入 數據 這也 config/server.properties broker.id 0 每一個broker在集群中的唯一表示，要求是正數。當該服務器的IP地址發生改變時，broker.id沒有變化，則不會影響

spring boot所有配置

標題 sch ply iou dev failure .so apache 數據庫 轉載 http://blog.csdn.net/lpfsuperman/article/details/78287265 # 日誌配置# 日誌配置文件的位置。 例如對於Logback的`cl

啟動伺服器時將配置引數從資料庫中載入到快取

最近做專案，碰到這樣的需求：在伺服器啟動的時候從資料庫讀取引數，將引數儲存到記憶體快取中 由於使用的是spring的自動注入方式，一開始用@component註解在啟動的時候載入查詢配置引數的bean,由於bean中要用到其他bean來查詢，但此時都為null 查詢相關資料，發現@PostC

maven配置引數詳解

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach

kaldi中文語音識別thchs30模型訓練程式碼功能和配置引數解讀

Monophone 單音素模型的訓練 # Flat start and monophone training, with delta-delta features. # This script applies ceps

狀態列的各種配置引數

1. View.SYSTEM_UI_FLAG_VISIBLE： 顯示狀態列，Activity不全屏顯示(恢復到有狀態的正常情況)。 2. View.INVISIBLE： 隱藏狀態列，同時Activity會伸展全屏顯示。 3. View.SYSTEM_UI_FLAG_FUL

Kafka叢集配置---Windows版

Kafka叢集配置---Windows版   Kafka是一種高吞吐量的分散式釋出訂閱的訊息佇列系統，Kafka對訊息進行儲存時是通過tipic進行分組的。今天我們僅實現Kafka叢集的配置。 前言 最近研究kafka，發現網上很多關於kafka的介紹都是基於Linux作業

SpringBoot系列: 所有配置屬性和官方文件

Spring Boot 通用配置引數https://docs.spring.io/spring-boot/docs/current/reference/html/common-application-properties.html   Spring 下所有專案的文件, Spring boot 只

Kafka Broker配置

　　Kafka發行包裡自帶的配置樣本可以用來安裝單機服務，但並不能滿足大多數安裝場景的要求。kafka有很多配置選項，Kafka有很多配置選項，涉及安裝和調優的方方面面。不過大多數調優選項可以使用預設配置，除非你對調優有特別的要求。 常規配置和主題配置（服務端的配置檔案） 　　kafka安裝包裡自帶的co

JVM配置引數詳解

一、堆引數設定 -XX:+PrintGC 使用這個引數，虛擬機器啟動後，只要遇到GC就會列印日誌 -XX:+UseSerialGC 配置序列回收器 -XX:+PrintGCDetails 可以檢視詳細資訊，包括各個區的情況 -Xms:設定Java程式啟動

配置引數 -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M

MyEclipse記憶體不足 以及 配置引數“ -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M ”的含義 “MyEclipse has detected that less than 5% of the