1. 程式人生 > >kafka 叢集--3個broker 3個zookeeper建立實戰

kafka 叢集--3個broker 3個zookeeper建立實戰

準備工作:

1. 準備3臺機器,IP地址分別為:192.168.0.10,192.168.0.11,192.168.0.12

2. 下載kafka穩定版本,我的版本為:kafka_2.9.2-0.8.1.1.tgz 

3. 分別解壓放入到想安裝的目錄下,我的目錄為:/home/www 解壓命令為:

tar -xzf kafka_2.9.2-0.8.1.1.tgz

搭建zookeeper叢集

  1. 進入解壓後的目錄/home/www/kafka_2.9.2-0.8.1.1

  2. 進入config目錄下,修改zookeeper.properties檔案

tickTime=2000
dataDir=/data/zookeeper/
clientPort
=2181 initLimit=5 syncLimit=2 server.1=192.168.0.10:2888:3888 server.2=192.168.0.11:2888:3888 server.3=192.168.0.12:2888:3888

在dataDir目錄/data/zookeeper/下寫一個myid檔案,命令如下:

echo 1 >myid

注意:這個id是zookeeper的主機標示,每個主機id不同第二臺是2 第三臺是3。

逐次啟動3臺機器的zookeeper 構成一個叢集:

> bin/zookeeper-server-start.sh config/zookeeper.properties &

注意:使用& 會打印出啟動日誌,但如果使用secure ssh直接退出,有可能會讓zookeeper退出,建議使用命令檢查一下:

> netstat -apn | grep 2181

我啟動的順序是

192.168.0.10
192.168.0.11
192.168.0.12

由於ZooKeeper叢集啟動的時候,每個結點都試圖去連線叢集中的其它結點,先啟動的肯定連不上後面還沒啟動的,所以打印出來的部分的異常是可以忽略的。叢集在選出一個Leader後,最後穩定了。其他結點可能也出現類似問題,屬於正常。

至此,zookeeper叢集搭建完成

搭建kafka broker叢集

進入config目錄,修改server.properties

broker.id=0
port=9092
host.name=192.168.0.10zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181
log.dirs=/home/www/kafka-logs

不同叢集broker.id 和host.name 不一樣,根據實際情況配置。

修改生產者配置

 broker.list=192.168.0.10:9092,192.168.0.11:9092,192.168.0.12:9092
 producer.type=async

修改消費者配置:

zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181

啟動每臺伺服器的kafka:

> bin/kafka-server-start.sh config/server.properties &

測試叢集

建立一個topic

> bin/kafka-topics.sh --create --zookeeper 192.168.0.10:2181 --replication-factor 3 --partitions 1 --topic test-replicated-topic

檢視建立的topic

> bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic my-replicated-topic
Topic:test-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs:
Topic: test-replicated-topic	Partition: 0	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0

檢視叢集情況:

>bin/kafka-topics.sh --describe --zookeeper 192.168.0.11:2181 --topic test-replicated-topic
>bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic test-replicated-topic

發現都能看到test-replicated-topic。

注意:使用一臺機器,建立3個zookeeper不同埠,3個kafka 不同埠沒有成功,和zookeeper叢集的埠有關吧,以後會研究一下。

參考資料:

http://kafka.apache.org/documentation.html#quickstart

http://www.jonzobrist.com/2012/04/17/install-apache-kafka-and-zookeeper-on-ubuntu-10-04/

http://www.open-open.com/lib/view/open1387889827593.html

完結。

相關推薦

kafka 叢集--3broker 3zookeeper建立實戰

準備工作: 1. 準備3臺機器,IP地址分別為:192.168.0.10,192.168.0.11,192.168.0.12 2. 下載kafka穩定版本,我的版本為:kafka_2.9.2-0.8.1.1.tgz  3. 分別解壓放入到想安裝的目錄下,我的目錄為:/home/www 解壓命令為: t

(Redis系列二)Centos7 搭redis3.2.12叢集-33從的6節點服

1、虛擬機器環境 使用的Linux環境已經版本: Centos 7   64位系統 主機ip: 172.16.0.9  172.16.0.10 172.16.0.11 每臺伺服器是1主1從,實驗3臺伺服器課成為3主3從。,3個主的不掛,3個從的掛了沒事,但是

ActiveMQ 3broker配置

第一個borker配置摘錄: <networkConnectors> </networkConnectors><transportConnectors> <transportConnector name=

K8S 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 叢集

## 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 叢集 ### 一、服務版本資訊: * **Kafka**:v2.13-2.6.0 * **Zookeeper**:v3.6.2 * **Kubernetes**:v1.18.4 ### 二、製作 Zookeeper 映象

3、三判斷-三循環

col 三元 blog 執行 判斷 簡單的 alert fine if條件語句 一、三個判斷 // 第一種:if else,if,else, // 第二種:三元運算符(三目運算符) // 應用於簡單的if else判斷 // 第三種:switch ca

10.3.3 WebView的幾常見功能

layout class alert 組件 creat mage ets error settitle 當前主流的開發模式是“WebView+ProgressDialog” <LinearLayout xmlns:android="http://schemas.an

WEB前端面試題 分別使用23、5DIV畫出一個大的紅十字

plain rotate tle copyto XML order bar back tro [html] view plain copy <!DOCTYPE html> <!--兩個DIV--> <html>

DT時代下[3.0]遵循的四法則

個推 ArchSummit全球架構師峰會 DT(Data Technology),是以服務大眾、激發生產力為主的技術。從IT時代走向DT時代,我們要思考如何用互聯網技術、理念、思想去與傳統行業進行交融和共同發展。 1.數據是決策的基本依據數億客戶端情況下,如何迅速定位?譬如:有的手機定位正常,有的不正

3. 添加多控制器

HA 視圖 TP ping 接口 pack col set ppi 在上篇的App中index方法表示網站的首頁,而遵守單一職責原則,最好不要在App中添加其他接口,最好引入專門的控制器來提供服務,操作如下:1. 添加HomeController控制器 2. 在HomeC

斐波那契數列,1.1.2.3.5.8......,輸入一個數字,比如3,顯示前面三數字1,1,2.

int 都是 AR public 運行 sca ... 3.5 info 斐波那契數列(從第三個數字開始都是前面兩個數字的和),1.1.2.3.5.8......,輸入一個數字,比如3,顯示前面三個數字1,1,2. 1 public class practice {

互動設計超全學習清單:3本書,2播客,6門視訊課程,8優秀網站

剛入行使用者體驗設計的人在學習時總會遇到這樣的難題:網上的文章看了不少,行業大V也follow了好幾個,但是攝入的知識總感覺是一盤散沙,心裡仍然沒個底兒。 為此 我們特推薦墨刀產品整理的一個學習清單 有系統的UX設計知識框架; 有各環節的實踐技巧; 有工具學習; 行業大

java--Fibonacc由數字1、1、2、3...組成的,從第三數字起每一個數字為前兩數字的和。建立一個方法,接受一個整數引數,顯示從第一元素開始總共由該引數指定的個數所構成的所有斐波那契數

題目完整描述:一個斐波那契數列是由數字1、1、2、3、5、8、13、21、34等等組成的,其中每一個數字(從第三個數字起)都是前兩個數字的和。建立一個方法,接受一個整數引數,並顯示從第一個元素開始總共由該引數指定的個數所構成的所有斐波那契數字。例如,如果執行 java Fibonacci 5(Fib

c語言實現求解這樣的6位數:SQRT(6位數)=3位數,9數字互不相同(SQRT表示開平方)

(1)設定10個元素的狀態陣列p,記錄數字0~9在6位數和3位數中出現的情況。陣列元素都賦值1,表示數字0~9沒有被使用過。 (2)對嘗試的每一個數3位數x,6位數=x*x,並取其各個位數字,數字作為陣列的下標,若對應元素為1,則該數字第一次出現, 將對應的元素賦值為0,表示該數字已經出現一次。否則,若對

java經典題丨有1、2、3、4四數字,能組成多少互不相同且無重複數字的三位數?都是多少?

組合成三個互不重複的數字,不難理解,其他的好辦,但是互不重複,就有點難度了,這個是解決本題思路的重點,程式碼如下: public static void main(String[] args) { int x=0,y=0,z=0,count=0; for(x=1;x<=4;

Google的一道面試題的推廣(扔雞蛋不破的層數,23,n雞蛋呢)

1題目描述 google面試題:幾年前的Google的面試題在論壇炒得很火,今年又被人人網當作面試題了,題目如下:“有一個100層高的大廈,你手中有兩個相同的雞蛋。從這個大廈的某一層扔下雞蛋就會碎,用你手中的這兩個雞蛋,找出一個最優的策略,來得知那個臨界層面。” 人人網面試題:原題來自:2014人人網研發

設有n正整數,將他們連線成一排,組成一個最大的多位整數。 如:n=3時,3整數13,312,343,連成的最大整數為34331213。

題目描述 設有n個正整數,將他們連線成一排,組成一個最大的多位整數。 如:n=3時,3個整數13,312,343,連成的最大整數為34331213。 如:n=4時,4個整數7,13,4,246連線成的最大整數為7424613。 輸入描述: 有多組測試樣例,每組測試樣例包含兩行,第一行為一

前端小記3(嵌入多Echart)

引入Echart時,需要插入div,eg: < div id= "main" style= "width: 600px;height:400px;position:absolute;left:400px;" ></

pycharm2017.3破解碼第二破解碼

以前那個文章的破解碼可能是用的人太多了,今天我的idea也出現了不能使用,然後我就測試測試別的,然後這個可以使用,上面的那個不能用的話,用這個吧!!!好的話就點個贊 9DK8FDSOS2-eyJsaWNlbnNlSWQiOiI5REs4RkRTT1MyIiwibGljZW5

給定一個正整數k(3≤k≤15),把所有k的方冪及所有有限互不相等的k的方冪之和構成一個遞增的序列,例如,當k=3時,這個序列是: 1,3,4,9,10,12,13,… (該序列實際上就是:3^0,3^1,3^0+3^1,3^2,3^0+3^2,3^1+3^2,3^0+3^1+3^2,…) 請你求

只有1行,為2個正整數,用一個空格隔開: k N (k、N的含義與上述的問題描述一致,且3≤k≤15,10≤N≤1000)。  計算結果,是一個正整數(在所有的測試資料中,結果均不超過2.1*10^9)。(整數前不要有空格和其他符號)。 #include<stdio.h> int

3.16 合併兩排序的連結串列

輸入兩個單調遞增的連結串列,輸出兩個連結串列合成後的連結串列,當然我們需要合成後的連結串列滿足單調不減規則。 方法一:(不開闢新的空間) struct ListNode { int val; struct ListNode *next; ListNode(int x) :