kafka1.0Server端配置詳解
此篇文章是我從官網拿來的資料自己打了4個多小時翻譯的,給大家參考Server端的配置
NAME | DESCRIPTION | TYPE | DEFAULT | VALID VALUES | IMPORTANCE | ||||||
zookeeper.connect | Zookeeper host string | string | high | ||||||||
advertised.host.name | 打廣告的地址,若是設定的話,會提供給producers, consumers,其他broker連線,具體如何使用還未深究 | string | high | ||||||||
advertised.listeners | 打廣告的地址,若是設定的話,會提供給producers, consumers, | string | high | ||||||||
advertised.port | 只在“廣告”、“聽眾”或“聽眾”沒有設定時使用。改為使用“廣告。聽眾”。該埠釋出給動物園管理員供客戶使用。在IaaS環境中,這可能需要與代理繫結的埠不同。如果沒有設定,它將釋出代理繫結到的埠。 | int | high | ||||||||
auto.create.topics.enable | 啟用伺服器上的主題自動建立 | boolean | true | high | |||||||
auto.leader.rebalance.enable | 是否自動平衡broker之間的分配策略 | boolean | true | high | |||||||
background.threads | 一些後臺任務處理的執行緒數,例如過期訊息檔案的刪除等 | int | 10 | [1,...] | high | ||||||
broker.id | 每一個broker在叢集中的唯一標示,要求是正數。在改變IP地址,不改變broker.id的話不會影響consumers | int | -1 | high | |||||||
compression.type | 指定給定主題的最終壓縮型別。此配置接受標準壓縮編解碼器('gzip', 'snappy', 'lz4')。它還接受“uncompressed”,這相當於沒有壓縮;和“producer”,這意味著保留原始壓縮編解碼器設定的producer。 | string | producer | high | |||||||
delete.topic.enable | 啟用刪除主題。如果這個配置被關閉,通過管理工具刪除主題將不起作用 | boolean | true | high | |||||||
host.name | broker的主機地址,若是設定了,那麼會繫結到這個地址上,若是沒有,會繫結到所有的介面上,並將其中之一發送到ZK,一般成自己的ip | string | "" | high | |||||||
leader.imbalance.check.interval.seconds | 檢查leader是否不平衡的時間間隔 | long | 300 | high | |||||||
leader.imbalance.per.broker.percentage | leader的不平衡比例,若是超過這個數值,會對分割槽進行重新的平衡 | int | 10 | high | |||||||
listeners | 偵聽器列表-逗號分隔的URI列表,我們將偵聽和偵聽器名稱。如果偵聽器名稱不是安全協議,也必須設定ListEn.SaleTy.Primo.Mp。指定主機名為0.0.0.0以繫結到所有介面。將主機名空到繫結到預設介面。合法聽眾列表的例子:明文://MyHub:9092,SSL://:9091客戶端://0.0.0.0:9092,複製://LoalHoo: 9093 | string | high | ||||||||
log.dir | Kafka資料存放的目錄。 | string | /tmp/kafka-logs | high | |||||||
log.dirs | Kafka資料存放的目錄。可以指定多個目錄,中間用逗號分隔,當新partition被建立的時會被存放到當前存放partition最少的目錄。 | string | high | ||||||||
log.flush.interval.messages | log檔案”sync”到磁碟之前累積的訊息條數 因為磁碟IO操作是一個慢操作,但又是一個”資料可靠性”的必要手段 所以此引數的設定,需要在”資料可靠性”與”效能”之間做必要的權衡. 如果此值過大,將會導致每次”fsync”的時間較長(IO阻塞) 如果此值過小,將會導致”fsync”的次數較多,這也意味著整體的client請求有一定的延遲. 物理server故障,將會導致沒有fsync的訊息丟失. | long | 9223372036854775807 | [1,...] | high | ||||||
log.flush.interval.ms | 僅僅通過interval來控制訊息的磁碟寫入時機,是不足的. 此引數用於控制”fsync”的時間間隔,如果訊息量始終沒有達到閥值,但是離上一次磁碟同步的時間間隔 達到閥值,也將觸發. | long | high | ||||||||
log.flush.offset.checkpoint.interval.ms | 控制上次固化硬碟的時間點,以便於資料恢復一般不需要去修改 | int | 60000 | [0,...] | high | ||||||
log.flush.scheduler.interval.ms | 檢查是否需要固化到硬碟的時間間隔 | long | 9223372036854775807 | high | |||||||
log.flush.start.offset.checkpoint.interval.ms | 更新日誌起始偏移的持久記錄的頻率 | int | 60000 | [0,...] | high | ||||||
log.retention.bytes | topic每個分割槽的最大檔案大小,一個topic的大小限制 = 分割槽數*log.retention.bytes =-1 沒有大小限制 log.retention.bytes和log.retention.minutes任意一個達到要求,都會執行刪除,會被topic建立時的指定引數覆蓋 | long | -1 | high | |||||||
log.retention.hours | 在刪除日誌檔案之前的小時數 | int | 168 | high | |||||||
log.retention.minutes | 資料儲存的最大時間超過這個時間會根據log.cleanup.policy設定的策略處理資料,也就是消費端能夠多久去消費資料 log.retention.bytes和log.retention.minutes任意一個達到要求,都會執行刪除,會被topic建立時的指定引數覆蓋 | int | high | ||||||||
log.retention.ms | 在刪除日誌檔案(毫秒)之前保留毫秒數,如果未設定,則使用Log.ReaTime.Mess中的值。 | long | high | ||||||||
log.roll.hours | 這個引數會在日誌segment沒有達到log.segment.bytes設定的大小,也會強制新建一個segment會被 topic建立時的指定引數覆蓋 | int | 168 | [1,...] | high | ||||||
log.roll.jitter.hours | 從logRollTimeMillis(以小時為單位)減去的最大浮動,繼承於log.roll.jitter.ms屬性 | int | 0 | [0,...] | high | ||||||
log.roll.jitter.ms | 從logRollTimeMillis中減去的最大浮動(以毫秒為單位)。 如果未設定,則使用log.roll.jitter.hours中的值 | long | high | ||||||||
log.roll.ms | 新日誌段推出之前的最長時間(以毫秒為單位)。 如果未設定,則使用log.roll.hours中的值 | long |
相關推薦kafka1.0Server端配置詳解此篇文章是我從官網拿來的資料自己打了4個多小時翻譯的,給大家參考Server端的配置NAMEDESCRIPTIONTYPEDEFAULTVALID VALUESIMPORTANCEzookeeper.connectZookeeper host stringstringhigh 筆記:Spring Cloud Ribbon 客戶端配置詳解核心內容 framework 統計信息 結構 ble ogr 清單 接口實現 進行 自動化配置 由於 Ribbon 中定義的每一個接口都有多種不同的策略實現,同時這些接口之間又有一定的依賴關系,Spring Cloud Ribbon 中的自動化配置能夠很方便的自動化構 vsftpd服務端配置詳解listen=<YES/NO> :設定為YES時vsftpd以獨立執行方式啟動,設定為NO時以xinetd方式啟動(xinetd是管理守護程序的,將服務集中管理,可以減少大量服務的資源消耗) Openstack 多後端配置--詳解NFS作為Cinder的後端儲存材料: 1.現有一外接NFS儲存,大小為300G,路徑為:192.168.8.213:/test3/cinder 2.mitaka版本,已配置lvm後端儲存,大小為20G NFS後端儲存本地掛載(不掛載也不影響) 掛載到本地目錄 cd /root 華為PAT端口地址映射配置詳解(一)type 一個 多個 轉換 .com pin EDA ip地址 server 眾所周知,PAT,,Port Address Translation,即網絡地址轉換。 PAT有以下作用:1.改變數據包的ip地址和端口號;2.能夠大量節約公網IP地址。PAT的類型有以下:1.動 華為PAT端口地址映射配置詳解(二)種類 napt 1.2 blog res 沒有 1.0 包括 .com 上篇文章已為大家介紹了PAT的種類: PAT的類型有以下:1.動態PAT,包括NAPT和Easy IP;2.靜態PAT,包括NAT Server。 本文為大家介紹華為路由器Easy IP的基本配 華為PAT端口地址映射配置詳解(三)eas db2 ip add oba img 驗證 內網地址 tcp 大量 本篇文章為大家介紹下華為設備的映射有關的問題,我們在對網絡設備進行遠程管理的時候,地址映射是必須用的,映射常見的有NAT映射和PAT映射。 NAT(Network Address Translati Windows RabbitMQ服務端安裝與配置詳解使用這個Word文件可以讓你在最短的時間部署好Rabbitmq的服務端: 對應的全部檔案百度雲資源: 聯絡QQ 3508551694獲取,該資源(本人制作)付費使用,天生就對有償服務反感的人請繞行 Centos6.4下OpenVPN在windows和centos下客戶端安裝與配置詳解上一篇我們介紹了服務端的安裝與配置,我們主要講解在windows下與centos下的配置,ubuntu和android的類似,刷過系統的路由也可以使用openvpn,比如tomato系統,開啟路由器的samba,然後把證書上傳到一個目錄下,然後在openvpn自定義裡面貼 Nginx+Tomcat的伺服器端環境配置詳解Nginx+tomcat是目前主流的java web架構,如何讓nginx+tomcat同時工作呢,也可以說如何使用nginx來反向代理tomcat後端均衡呢?直接安裝配置如下: 1、JAVA JDK安裝: #下載相應的jdk軟體包,然後解壓安裝,我這裡包名稱為:jdk-7u25-linu centos 6.5環境利用iscsi搭建SAN網路儲存服務及服務端target和客戶端initiator配置詳解一、簡介 iSCSI(internet SCSI)技術由IBM公司研究開發,是一個供硬體裝置使用的、可以在IP協議的上層執行的SCSI指令集,這種指令集合可以實現在IP網路上執行SCSI協議,使其能夠在諸如高速千兆乙太網上進行路由選擇。iSCSI技術是一種新儲存技術,該技術 setting.xml 配置詳解校驗 找不到 順序 裁剪 全局 -- mls leg 觸發 文件存放位置 全局配置: ${M2_HOME}/conf/settings.xml 用戶配置: ${user.home}/.m2/settings.xml note:用戶配置優先於全局配置。${user.home} 【Spring】Spring MVC原理及配置詳解進行 return sub sca scrip uil 線程安全 松耦合 必須 1.Spring MVC概述: Spring MVC是Spring提供的一個強大而靈活的web框架。借助於註解,Spring MVC提供了幾乎是POJO的開發模式,使得控制器的開發和測試更加簡 kafka參數配置詳解kafka 參數 broker.idbroker的唯一標識符,如果不配置則自動生成,建議配置且一定要保證集群中必須唯一,默認-1log.dir日誌數據存放的目錄,默認/tmp/kafka-logslog.dirs日誌數據存放的目錄,如果沒有配置則使用log.dir,建議此項配置。zookeeper.c Lnux系統網卡綁定配置詳解ole osd 接口 當前 onf prim multi pac lin 一、CentOS 配置網卡綁定(bonding) 1、bonding概述 (1)作用:就是將多塊網卡綁定同一IP地址對外提供服務,可以實現高可用或者負載均衡。當然,直接給兩塊網卡設置同一IP地址是不可 Nginx配置詳解set 文件結構 時也 解決方案 ces 反向代理服務器 use 力量 第三方模塊 最近在搞nginx和tomcat 以及apache的集群。下面是參考的一片很不錯的關於nginx配置的詳細講解: http://www.cnblogs.com/knowledgesea/p/ Apache配置詳解搜索 相對 第一個 form 執行權限 php 時有 多個 direct Apache的配置由httpd.conf文件配置,因此下面的配置指令都是在httpd.conf文件中修改。 主站點的配置(基本配置) (1) 基本配置: ServerRoot "/mnt/softwa 緩存varnish的管理及配置詳解啟動 一個 hint 單位 quad spec int rom try 一 工作原理 在當前主流的Web服務架構體系中,Cache擔任著越來越重要的作用。常見的基於瀏覽器的C/S架構,Web Cache更是節約服務器資源的關鍵。而最近幾年由FreeBSD創始人之一Kamp開 日誌配置詳解lin XML html表格 記錄 文件中 對齊方式 oca read val #①配置根Logger,其語法為: # #log4j.rootLogger = [level],appenderName,appenderName2,... #level是日誌記錄的優先級,分為 phpmyadmin配置詳解php phpmyadmin配置文件中的一個,路徑為libraries/config.default.php,可以修改若幹配置,其中,only_db可以配置在web端顯示的數據庫本文出自 “12968673” 博客,請務必保留此出處http://12978673.blog.51cto.com/1296867 |