1. 程式人生 > >kafka1.0Server端配置詳解

kafka1.0Server端配置詳解

此篇文章是我從官網拿來的資料自己打了4個多小時翻譯的,給大家參考Server端的配置

NAME

DESCRIPTION

TYPE

DEFAULT

VALID VALUES

IMPORTANCE

zookeeper.connect

Zookeeper host string

string

high                                

advertised.host.name

打廣告的地址若是設定的話會提供給producers, consumers,其他broker連線具體如何使用還未深究

string

high

advertised.listeners

打廣告的地址若是設定的話會提供給producers, consumers,

其他broker連線具體如何使用還未深究

string

high

advertised.port

只在廣告”、“聽眾聽眾沒有設定時使用改為使用廣告聽眾”。該埠釋出給動物園管理員供客戶使用IaaS環境中這可能需要與代理繫結的埠不同如果沒有設定它將釋出代理繫結到的埠

int

high

auto.create.topics.enable

啟用伺服器上的主題自動建立

boolean

true

high

auto.leader.rebalance.enable

是否自動平衡broker之間的分配策略

boolean

true

high

background.threads

一些後臺任務處理的執行緒數例如過期訊息檔案的刪除等

一般情況下不需要去做修改

int

10

[1,...]

high

broker.id

每一個broker在叢集中的唯一標示要求是正數在改變IP地址不改變broker.id的話不會影響consumers

int

-1

high

compression.type

指定給定主題的最終壓縮型別此配置接受標準壓縮編解碼器('gzip', 'snappy', 'lz4')。它還接受“uncompressed”,這相當於沒有壓縮“producer”,這意味著保留原始壓縮編解碼器設定的producer。

string

producer

high

delete.topic.enable

啟用刪除主題如果這個配置被關閉通過管理工具刪除主題將不起作用

boolean

true

high

host.name

broker的主機地址若是設定了那麼會繫結到這個地址上若是沒有會繫結到所有的介面上並將其中之一發送到ZK,一般成自己的ip

string

""

high

leader.imbalance.check.interval.seconds

檢查leader是否不平衡的時間間隔

long

300

high

leader.imbalance.per.broker.percentage

leader的不平衡比例若是超過這個數值會對分割槽進行重新的平衡

int

10

high

listeners

偵聽器列表-逗號分隔的URI列表我們將偵聽和偵聽器名稱如果偵聽器名稱不是安全協議也必須設定ListEn.SaleTy.Primo.Mp。指定主機名為0.0.0.0以繫結到所有介面將主機名空到繫結到預設介面合法聽眾列表的例子明文://MyHub:9092,SSL://:9091客戶端://0.0.0.0:9092,複製://LoalHoo: 9093

string

high

log.dir

Kafka資料存放的目錄

string

/tmp/kafka-logs

high

log.dirs

Kafka資料存放的目錄可以指定多個目錄中間用逗號分隔當新partition被建立的時會被存放到當前存放partition最少的目錄

string

high

log.flush.interval.messages

log檔案”sync”到磁碟之前累積的訊息條數

因為磁碟IO操作是一個慢操作,但又是一個資料可靠性的必要手段

所以此引數的設定,需要在資料可靠性效能之間做必要的權衡.

如果此值過大,將會導致每次”fsync”的時間較長(IO阻塞)

如果此值過小,將會導致”fsync”的次數較多,這也意味著整體的client請求有一定的延遲.

物理server故障,將會導致沒有fsync的訊息丟失.

long

9223372036854775807

[1,...]

high

log.flush.interval.ms

僅僅通過interval來控制訊息的磁碟寫入時機,是不足的.

此引數用於控制”fsync”的時間間隔,如果訊息量始終沒有達到閥值,但是離上一次磁碟同步的時間間隔

達到閥值,也將觸發.

long

high

log.flush.offset.checkpoint.interval.ms

控制上次固化硬碟的時間點以便於資料恢復一般不需要去修改

int

60000

[0,...]

high

log.flush.scheduler.interval.ms

檢查是否需要固化到硬碟的時間間隔

long

9223372036854775807

high

log.flush.start.offset.checkpoint.interval.ms

更新日誌起始偏移的持久記錄的頻率

int

60000

[0,...]

high

log.retention.bytes

topic每個分割槽的最大檔案大小一個topic的大小限制 = 分割槽數*log.retention.bytes =-1 沒有大小限制

log.retention.byteslog.retention.minutes任意一個達到要求都會執行刪除會被topic建立時的指定引數覆蓋

long

-1

high

log.retention.hours

在刪除日誌檔案之前的小時數

int

168

high

log.retention.minutes

資料儲存的最大時間超過這個時間會根據log.cleanup.policy設定的策略處理資料也就是消費端能夠多久去消費資料

log.retention.byteslog.retention.minutes任意一個達到要求都會執行刪除會被topic建立時的指定引數覆蓋

int

high

log.retention.ms

在刪除日誌檔案毫秒之前保留毫秒數如果未設定則使用Log.ReaTime.Mess中的值

long

high

log.roll.hours

這個引數會在日誌segment沒有達到log.segment.bytes設定的大小也會強制新建一個segment會被 topic建立時的指定引數覆蓋

int

168

[1,...]

high

log.roll.jitter.hours

logRollTimeMillis(以小時為單位減去的最大浮動繼承於log.roll.jitter.ms屬性

int

0

[0,...]

high

log.roll.jitter.ms

logRollTimeMillis中減去的最大浮動以毫秒為單位)。 如果未設定則使用log.roll.jitter.hours中的值

long

high

log.roll.ms

新日誌段推出之前的最長時間以毫秒為單位)。 如果未設定則使用log.roll.hours中的值

long

相關推薦

kafka1.0Server配置

此篇文章是我從官網拿來的資料自己打了4個多小時翻譯的,給大家參考Server端的配置NAMEDESCRIPTIONTYPEDEFAULTVALID VALUESIMPORTANCEzookeeper.connectZookeeper host stringstringhigh

筆記:Spring Cloud Ribbon 客戶配置

核心內容 framework 統計信息 結構 ble ogr 清單 接口實現 進行 自動化配置 由於 Ribbon 中定義的每一個接口都有多種不同的策略實現,同時這些接口之間又有一定的依賴關系,Spring Cloud Ribbon 中的自動化配置能夠很方便的自動化構

vsftpd服務配置

listen=<YES/NO> :設定為YES時vsftpd以獨立執行方式啟動,設定為NO時以xinetd方式啟動(xinetd是管理守護程序的,將服務集中管理,可以減少大量服務的資源消耗)

Openstack 多後配置--NFS作為Cinder的後儲存

材料: 1.現有一外接NFS儲存,大小為300G,路徑為:192.168.8.213:/test3/cinder 2.mitaka版本,已配置lvm後端儲存,大小為20G NFS後端儲存本地掛載(不掛載也不影響) 掛載到本地目錄 cd /root

華為PAT口地址映射配置(一)

type 一個 多個 轉換 .com pin EDA ip地址 server 眾所周知,PAT,,Port Address Translation,即網絡地址轉換。 PAT有以下作用:1.改變數據包的ip地址和端口號;2.能夠大量節約公網IP地址。PAT的類型有以下:1.動

華為PAT口地址映射配置(二)

種類 napt 1.2 blog res 沒有 1.0 包括 .com 上篇文章已為大家介紹了PAT的種類: PAT的類型有以下:1.動態PAT,包括NAPT和Easy IP;2.靜態PAT,包括NAT Server。 本文為大家介紹華為路由器Easy IP的基本配

華為PAT口地址映射配置(三)

eas db2 ip add oba img 驗證 內網地址 tcp 大量 本篇文章為大家介紹下華為設備的映射有關的問題,我們在對網絡設備進行遠程管理的時候,地址映射是必須用的,映射常見的有NAT映射和PAT映射。 NAT(Network Address Translati

Windows RabbitMQ服務安裝與配置

使用這個Word文件可以讓你在最短的時間部署好Rabbitmq的服務端: 對應的全部檔案百度雲資源: 聯絡QQ 3508551694獲取,該資源(本人制作)付費使用,天生就對有償服務反感的人請繞行

Centos6.4下OpenVPN在windows和centos下客戶安裝與配置

上一篇我們介紹了服務端的安裝與配置,我們主要講解在windows下與centos下的配置,ubuntu和android的類似,刷過系統的路由也可以使用openvpn,比如tomato系統,開啟路由器的samba,然後把證書上傳到一個目錄下,然後在openvpn自定義裡面貼

Nginx+Tomcat的伺服器環境配置

Nginx+tomcat是目前主流的java web架構,如何讓nginx+tomcat同時工作呢,也可以說如何使用nginx來反向代理tomcat後端均衡呢?直接安裝配置如下: 1、JAVA JDK安裝: #下載相應的jdk軟體包,然後解壓安裝,我這裡包名稱為:jdk-7u25-linu

centos 6.5環境利用iscsi搭建SAN網路儲存服務及服務target和客戶initiator配置

一、簡介 iSCSI(internet SCSI)技術由IBM公司研究開發,是一個供硬體裝置使用的、可以在IP協議的上層執行的SCSI指令集,這種指令集合可以實現在IP網路上執行SCSI協議,使其能夠在諸如高速千兆乙太網上進行路由選擇。iSCSI技術是一種新儲存技術,該技術

setting.xml 配置

校驗 找不到 順序 裁剪 全局 -- mls leg 觸發 文件存放位置 全局配置: ${M2_HOME}/conf/settings.xml 用戶配置: ${user.home}/.m2/settings.xml note:用戶配置優先於全局配置。${user.home}

【Spring】Spring MVC原理及配置

進行 return sub sca scrip uil 線程安全 松耦合 必須 1.Spring MVC概述: Spring MVC是Spring提供的一個強大而靈活的web框架。借助於註解,Spring MVC提供了幾乎是POJO的開發模式,使得控制器的開發和測試更加簡

kafka參數配置

kafka 參數 broker.idbroker的唯一標識符,如果不配置則自動生成,建議配置且一定要保證集群中必須唯一,默認-1log.dir日誌數據存放的目錄,默認/tmp/kafka-logslog.dirs日誌數據存放的目錄,如果沒有配置則使用log.dir,建議此項配置。zookeeper.c

Lnux系統網卡綁定配置

ole osd 接口 當前 onf prim multi pac lin 一、CentOS 配置網卡綁定(bonding) 1、bonding概述 (1)作用:就是將多塊網卡綁定同一IP地址對外提供服務,可以實現高可用或者負載均衡。當然,直接給兩塊網卡設置同一IP地址是不可

Nginx配置

set 文件結構 時也 解決方案 ces 反向代理服務器 use 力量 第三方模塊 最近在搞nginx和tomcat 以及apache的集群。下面是參考的一片很不錯的關於nginx配置的詳細講解: http://www.cnblogs.com/knowledgesea/p/

Apache配置

搜索 相對 第一個 form 執行權限 php 時有 多個 direct Apache的配置由httpd.conf文件配置,因此下面的配置指令都是在httpd.conf文件中修改。 主站點的配置(基本配置) (1) 基本配置: ServerRoot "/mnt/softwa

緩存varnish的管理及配置

啟動 一個 hint 單位 quad spec int rom try 一 工作原理 在當前主流的Web服務架構體系中,Cache擔任著越來越重要的作用。常見的基於瀏覽器的C/S架構,Web Cache更是節約服務器資源的關鍵。而最近幾年由FreeBSD創始人之一Kamp開

日誌配置

lin XML html表格 記錄 文件中 對齊方式 oca read val #①配置根Logger,其語法為: # #log4j.rootLogger = [level],appenderName,appenderName2,... #level是日誌記錄的優先級,分為

phpmyadmin配置

php phpmyadmin配置文件中的一個,路徑為libraries/config.default.php,可以修改若幹配置,其中,only_db可以配置在web端顯示的數據庫本文出自 “12968673” 博客,請務必保留此出處http://12978673.blog.51cto.com/1296867