Kafka的partions和replication-factor參數的理解

阿新 • • 發佈：2019-05-04

style 通過消費 tex kit 日誌由於不能 color

Topic在Kafka中是主題的意思，生產者將消息發送到主題，消費者再訂閱相關的主題，並從主題上拉取消息。

在創建Topic的時候，有兩個參數是需要填寫的，那就是partions和replication-factor。

partions

　　主題分區數。kafka通過分區策略，將不同的分區分配在一個集群中的broker上，一般會分散在不同的broker上，當只有一個broker時，所有的分區就只分配到該Broker上。

消息會通過負載均衡發布到不同的分區上，消費者會監測偏移量來獲取哪個分區有新數據，從而從該分區上拉取消息數據。

分區數越多，在一定程度上會提升消息處理的吞吐量，因為kafka是基於文件進行讀寫，因此也需要打開更多的文件句柄，也會增加一定的性能開銷。

如果分區過多，那麽日誌分段也會很多，寫的時候由於是批量寫，其實就會變成隨機寫了，隨機 I/O 這個時候對性能影響很大。所以一般來說 Kafka 不能有太多的 Partition。

下圖設置topic-1的partions為3，會自動分配在不同的broker上，采用均勻分配策略，當broker和partions一樣時，就均勻分布在不同的broker上。

技術分享圖片

replication-factor

　　用來設置主題的副本數。每個主題可以有多個副本，副本位於集群中不同的broker上，也就是說副本的數量不能超過broker的數量，否則創建主題時會失敗。

比如partions 設置為20，replicationFactor設置為1. Broker為2.可以看出，分區會均勻在broker

上進行分配。

技術分享圖片

比如partions 設置為10，replicationFactor設置為2. Broker為2.每個broker都有副本存在。

技術分享圖片

Kafka的partions和replication-factor參數的理解

style 通過消費 tex kit 日誌由於不能 color Topic在Kafka中是主題的意思，生產者將消息發送到主題，消費者再訂閱相關的主題，並從主題上拉取消息。在創建Topic的時候，有兩個參數是需要填寫的，那就是partions和replication

記錄一次線程池的在項目中的實際應用，講解一下線程池的配置和參數理解。

div pro 繼續 bstr warn fin autowire string ping 前言：最近項目中與融360項目中接口對接，有反饋接口（也就是我們接收到請求，需要立即響應，並且還要有一個接口推送給他們其他計算結果），推送過程耗時、或者說兩個接口不能是同時返回，有先

c++中函式的引數傳遞，行內函數和預設實參的理解

1.引數傳遞 1）函式呼叫時，c++中有三種傳遞方法：值傳遞、指標傳遞、引用傳遞。給函式傳遞引數，遵循變數初始化規則。非引用型別的形參一相應的實參的副本初始化。對（非引用）形參的任何修改僅作用域區域性副本，並不影響實參本身。為了避免傳遞副本的開銷，可將形參指定為引用型別。對引用形參的

Shell特殊變量：$0, $#, $*, $@, $?, $$和命令行參數

$0 $# $* $@ $? $$ 變量名只能包含數字、字母和下劃線，因為某些包含其他字符的變量有特殊含義，這樣的變量被稱為特殊變量。特殊變量列表變量含義$0當前腳本的文件名$n傳遞給腳本或函數的參數。n 是一個數字，表示第幾個參數。例如，第一個參數是$1，第二個參數是$2。$#傳遞給

將方法作為方法的參數 —— 理解托付

case eight ace 說我 watermark enter 接受 stat 正常《.NET開發之美》上對於托付寫到：“它們就像是一道檻兒，過了這個檻的人，認為真是太easy了，而沒有過去的人每次見到托付和事件就認為心裏別得慌，混身不自在。”我認為這句話就像是在

三個案例帶你看懂LayoutInflater中inflate方法兩個參數和三個參數的區別

NFS和mount常用參數詳解本文目錄

2-0 元數據處理 del 自己的通過 opp lena 返回頁面頂部 NFS和mount常用參數詳解本文目錄 NFS權限參數配置 mount掛載參數原始驅動程序的掛載選項。新驅動程序的掛載選項。怎樣改變已經掛載的NTFS卷的權限？怎樣自動掛載一個

sqlsever 和oracle的參數

app div class sql pen date var ndt use StringBuilder strSql = new StringBuilder(); strSql.Append("insert into YXZY_TSDQWH

C#中的具名參數和可選參數

調用方法 4.0 frame framework 必須遇到錯誤方法 public 具名參數和可選參數是 C# framework 4.0 出來的新特性。一. 常規方法定義及調用 public void Demo1(string x, int y) {

python函數參數理解

cti 註意 ins style 默認參數參數 python 多次調用 def 1、位置參數　　函數調用時，參數賦值按照位置順序依次賦值。　　e.g. 1 def function(x): 2 3　　return x * x 4 5 print functio

Scala 中的隱式轉換和隱式參數

定義定義函數 scala 行為 hub 隱式實現發現 com 隱式定義是指編譯器為了修正類型錯誤而允許插入到程序中的定義。舉例：正常情況下顯然會報錯，因為 String 類並沒有實現 / 這個方法，我們無法去決定 String 類的行為，這個時候就可以用上 im

js的參數理解

rip define span 長度函數 cti col 自動決定 ECMAScript內的參數在內部使用一個數組來表示的，在函數內可以通過arguments對象來訪問這個參數數組，從而傳遞給函數的每一個參數 function doADD () { if (a

數據庫常用授權和授權回收參數配置

mariadb標題索引官方幫助常用案例官方幫助在使用數據庫時必不可少的即是查看help幫助，通過help幫助再次尋找常用命令及參數，如下為help grant信息：MariaDB [(none)]> help grant; Name: 'GRANT' Description: S

Python的函數參數和遞歸參數

sum class product cit 調用增長年齡 lis cnblogs 位置參數 def power(x): return x*x; 默認參數指的是在函數定義的時候，就賦予一些參數默認值，在調用這個函數的時候不必多次傳入重復的參數值。如定

【必須知道】枚舉類型和缺省參數

style 代碼 clas enum public some 文章現在修改代碼中為了調用和管理方便，會把大量的類型定義為枚舉值，如： //定義public enum SomeTypes{ Type_1, Type_2, Type_n }//調

21）函數的默認參數和占位參數

iostream ios style 默認我沒 ron color log () 1）自定義函數有默認參數，可以傳參，也可以不傳參　　 1 #include<iostream> 2 int fun(int a=100) 3 { 4 prin

Python函數中多類型傳值和冗余參數及函數的遞歸調用

rgb {} rgs fun mini eight 分享圖片 not strong 1.多類型傳值和冗余參數多類型傳值： def fun(x,y): return x +y print fun(3,5) 8 print fun(*t)

echo -n 和echo -e 參數意義

報警 bsp 警告 system 刪除 spa 插入相同意義 echo -n 不換行輸出 #!/bin/bash # This is a script for test echo echo -n "123" echo "456" 輸出結果為： [keysystem

Golang裏實現Http服務器並解析header參數和表單參數

打印表單 class per lang accept png Go語言 title 在http服務裏，header參數和表單參數是經常使用到的，本文主要是練習在Go語言裏，如何解析Http請求的header裏的參數和表單參數，具體代碼如下： package server

學習日記13、ajax同時提交from表單和多個參數

表單 reload log DC change AD UC sca col if ($("form").valid()) { $.ajax({ url: "@Url.Action("EditCusAndCusCard")"

Kafka的partions和replication-factor參數的理解

partions

replication-factor

相關推薦