1. 程式人生 > >kafka中重要的引數配置 (記錄)

kafka中重要的引數配置 (記錄)

replica.fetch.max.bytes:

        在kafka的配置中,如果沒有定義 replica.fetch.max.bytes的值,server 會給一個預設值(1M),在短訊息的應用場景下通常是不會有什麼問題的,但是在訊息比較大的情況下,雖然可以在topic中定義max.message.bytes這個值比較大,但是對於broker,topic的max.message.bytes變大 不會自動 修正replica.fetch.max.bytes的大小,所以會存在這樣一個問題: 配置檔案中沒有定義 replica.fetch.max.bytes ,但是訊息的長度大於預設值1M,就會導致replica之間資料同步失敗。

問題解決:將所有topic中最大的max.message.bytes賦給replica.fetch.max.bytes,在配置初始化的時候儘量配置replica.fetch.max.bytes一個較大的值,同時確保所有topic的max.message.bytes都小於 replica.fetch.max.bytes

相關推薦

kafka重要引數配置 記錄

replica.fetch.max.bytes:        在kafka的配置中,如果沒有定義 replica.fetch.max.bytes的值,server 會給一個預設值(1M),在短訊息的應用場景下通常是不會有什麼問題的,但是在訊息比較大的情況下,雖然可以在to

linux裝置樹pinctrl的配置

最近在移植linux,用到kernel版本為3.18.22和4.1.3,在高版本的核心原始碼中用到了裝置樹(device-tree),裝置樹中用到pinctrl的配置,記錄一下。 1、普通設定 在配置串列埠時,pinctrl的配置資訊如下所示: <span st

linux裝置樹pinctrl的配置

上一篇記錄了裝置樹檔案中管腳普通配置的查詢與確定,這篇介紹一下特殊的配置。 首先還是先看程式碼,看看到底特殊到哪裡。 <span style="font-size:14px;"> pi

Java虛擬機器--非堆記憶體的引數配置

方法區配置 JDK1.6 , JDK1.7配置永久區大小: -XX:PermSize:初始的永久區大小;-XX:MaxPermSize:最大永久區; JDK1.8使用元資料區替代永久區: 預設情

應用程式的一些配置許可權

給應用配置許可權: <uses-permission android:name="android.permission.CALL_PHONE" />//打電話的許可權<uses-permission android:name="android.permis

zookeeper叢集模式搭建配置記錄

單節點,方式比較簡單,簡述略過 1.安裝jdk1.8,這個不會的話可以百度一下很簡單 2.官方下載地址 https:

oracle資料庫重要的檔案控制檔案、資料檔案、重寫日誌檔案、歸檔日誌檔案、初始化引數檔案

本篇著重從物理角度來說明oracle資料庫的組成。 Oracle資料庫,就是作業系統檔案的集合。包括下面幾種檔案。 1       控制檔案 引數檔案init.ora記錄了控制檔案的位置 控制檔案中的主要資訊: 資料庫的名字,檢查點資訊,資料庫建立的時間戳,所有的資料檔案

將項目導入WebStrom的環境配置Nodejs+npm+vue

設置 com header -- 項目導入 log 命令 fault 參考 參考: https://segmentfault.com/a/1190000008922234#articleHeader0; http://www.cnblogs.com/pengjunhao/p

python---djangoorm的使用3admin配置與使用

pro field 管理 self settings logs ring web try 新建項目,並開啟 python manage.py runserver 8080 訪問admin頁面 http://127.0.0.1:8080/admin 此時並沒有賬號和

統一日誌ELK部署配置2——kafka

日誌收集前提:你服務器上已經安裝並配置了java運行環境; 一、zookeeper安裝1、從zookeeper官網:http://zookeeper.apache.org/ 下載;我這裏下載的是zookeeper-3.4.9.tar.gz;2、解壓到你安裝目錄:tar-zxvf zookeeper-3.4.9

webpack+vue-cli代理配置proxyTable

info ubd 技術 ets conf local src nod mage 在做vue的項目時,用到webpack打包工具,我們會發現本地開發開啟的node服務地址請求接口的地址存在跨域問題。本地開啟的服務地址是 http://localhost:8080 而服務器

使用Docker實現MySql資料庫在容器的主從配置詳解

使用Docker容器搭建MySql主從複製 關於如何建立映象,我的部落格中有詳細的步驟文件 檢視容器ip命令為docker inspect 96fd[id前四位] Master_mysql_ip_172.17.0.4 slave_mysql_ip_172.17.0.5 1.docker上面尋

Kafka集群安裝和配置

nohup 解壓 host download end 啟動 num rc.local ntp (一)、環境介紹1、服務器的相關設置:1、kafka1:172.20.67.522、kafka2:172.20.67.563、kafka3:172.20.67.57 2、zooke

yarn資源排程引數配置記憶體,cpu

Hadoop  YARN同時支援記憶體和CPU兩種資源的排程(預設只支援記憶體,如果想進一步排程CPU,需要自己進行一些配置),本文將介紹YARN是如何對這些資源進行排程和隔離的。 在YARN中,資源管理由ResourceManager和NodeManager共同完成,其中,Resou

前端之路:sql語句,表隨機獲取一條記錄資料或者獲取隨機獲取多條記錄資料

<!--表中獲取隨機一條title 耗時0.01s id==隨機欄位,最好為表id--> SELECT * FROM `tableName` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `ta

spring boot 專案hanlp的配置可增加自定義詞典

pom.xml檔案中增加: com.hankcs hanlp system ${project.basedir}/src/main/resources/lib/hanlp-1.5.2.jar 字典和模型檔案在專案中的位置,其中包括自定義詞典: data資料夾在專案中的位置:

C語言的 指標常量*const和常量指標const*的區別重要!!!

參考連結:https://blog.csdn.net/qiu931110/article/details/80580295   這個哥們講的還可以,但是我想用白話在描述一下,方便理解:   const限定符作用於指標 常量指標(先常量限制符號,在指標符號,co

pageHelper分頁外掛使用以及 jsp 資料處理記錄

使用pageHelper 分頁外掛可以很簡單的進行分頁展示,但一段時間不知道怎麼在前端對這些資料進行處理並展示 百度找了很久沒有沒有查到想要的結果,不斷摸索終於是完成了 (記錄一下) 引入jar包(jsqlparser-0.9.5.jar,pagehelper-4.1.

Docker系列~配置外部訪問容器的Redis服務

最近想通過在centos映象中配置redis服務,從而使外部機器能訪問 1. 建立並啟動映象(我的映象名字叫做:mycentos-redis:1.0) docker run -i -t -p 192.168.0.152:56379:6379 mycentos-redis

imx6 LCD 引數配置lvds為例

目前imx6的BSP開發中,lvds的引數配置一般在兩個地方: 1. uboot的CMDLINE的引數設定,形如: video=mxcfb0:dev=ldb,bpp=32 2. uboot板級程式碼中對struct display_info_t的配