2. 程式人生 > 其它 >RocketMQ叢集搭建2

RocketMQ叢集搭建2

阿新 • • 發佈：2021-06-19

1.修改配置配件

本次搭的叢集是雙主雙從的同步模式

雙主雙從的配置檔案再上圖所示的裡面

伺服器：192.168.100.128內需配置（下圖中的：broker-a.properties和broker-b-s.properties）

broker-a.properties中的配置檔案如下

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#
 
在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
 

mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog

 
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

broker-b-s.properties中的配置檔案如下

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=11011
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

伺服器：192.168.100.129內需配置（下圖中的：broker-b.properties和broker-a-s.properties）

broker-b.properties中的配置檔案如下

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

broker-a-s.properties中的配置檔案如下

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=11011
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

服務啟動

1.啟動nameserver叢集

nohup sh mqnamesrv &

2.啟動broker叢集

在192.168.100.128上啟動master1和slave2

a.啟動master1

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties &

b.啟動slave2

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

在192.168.100.129上啟動master2和slave1

a.啟動master2

sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.8.0-bin-release/conf/2m-2s-sync/broker-b.properties &

b.啟動slave1

nohup sh mqbroker -c /usr/local/rocketmq/rocketmq-all-4.8.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

自此一個雙主雙從的rocketmq叢集就已經配置完成

相關推薦

RocketMQ叢集搭建2

1.修改配置配件 本次搭的叢集是雙主雙從的同步模式 雙主雙從的配置檔案再上圖所示的裡面

RocketMQ叢集搭建

1. RocketMQ叢集搭建 1.1 各角色介紹 Producer：訊息的傳送者；舉例：發信者 Consumer：訊息接收者；舉例：收信者

RocketMQ叢集搭建(例項)

網上很多搭建RocketMQ的教程,但是在樓主的瘋狂百度以及瘋狂採坑下,終於成功的搭建了一個RocketMQ的叢集(LingZsj真的是太難了啊~.~)

RocketMQ叢集搭建(3m-3s-async)

RocketMQ叢集搭建(3m-3s-async) 各角色介紹 角色作用 Producer 訊息傳送者，將訊息傳送到 Broker。無狀態，其與NameServer叢集中的一個節點建立長連線，定期從NameServer獲取Topic路由資訊，並與提供Topic服務的

RocketMQ叢集搭建1

1.各角色介紹 Producer：訊息的傳送者。舉例：發信者 Consumer：訊息的接收者。舉例：收信者

rocketMq資料收集及docker裡叢集搭建筆記

RocketMQ簡介與在docker安裝與部署 一、MQ對比 MQ，是一種跨程序的通訊機制，用於上下游傳遞訊息。在傳統的網際網路架構中通常使用MQ來對上下游來做解耦合。

大資料運維（46）hadoop 2.10叢集搭建

hadoop官方文件： 1 https://hadoop.apache.org/docs/ 安裝hadoop叢集 配置DNS解析或hosts檔案：

Hadoop3.2.0叢集搭建常見注意事項

一 埠變化 3.2.0版本中namenode頁面埠是9870,datanode管理埠是8088,所以需要開放這兩個埠還給web頁面訪問

K8S（2）-叢集搭建（Ubuntu版）

1. 介紹 kubeadm是官方社群推出的一個用於快速部署kubernetes叢集的工具。 這個工具能通過兩條指令完成一個kubernetes叢集的部署：

RocketMQ - 0 環境 & 叢集 搭建

RocketMQ - 環境 & 叢集 搭建 2.1) 方案一 2.1.1) 上傳壓縮包 步驟1：安裝JDK（1.8）

RocketMQ--環境搭建（單機&docker&叢集）

一、單機安裝 　　1、安裝RocketMQ需要使用JDK，首先需要配置好JDK，安裝JDK 　　2、下載並啟動RocketMQ

CDH6.3.2 叢集搭建

一.CDH簡介官網：https://www.cloudera.com/CDH，全稱Cloudera\'s Distribution, including Apache Hadoop。是Hadoop眾多分支中對應中的一種，由Cloudera維護，基於穩定版本的Apache Hadoop構建，提供了Hadoop的核心

redis單機安裝以及叢集搭建（redis-6.2.6）

之前寫過一篇基於redis-3.2.4版本的安裝日記，這篇是基於redis-6.2.6改動不少，故再次記錄一下

[雲原生]Kubernetes - 叢集搭建（第2章）

目錄一、前置知識點二、kubeadm部署方式介紹三、安裝要求四、最終目標五、準備環境六、環境初始化6.1 設定系統主機名以及Hosts檔案的相互解析6.2 安裝依賴檔案（所有節點）6.3 禁用iptables和firewalld服務（所有節

rocketMq叢集master模式搭建

首先說明，本文是講述使用vmware虛擬機器搭建3臺伺服器，相當於3臺linux伺服器，並且vmware模擬的也是linux系統。其中在vmware設定了靜態ip，為了方便操作，能夠使用xshell連線，具體如何使用xshell連線vmware的，請

es叢集搭建(6.8.2版本)

es搭建 #!/bin/bash echo \"請確保檔案\"elasticsearch-6.8.2.tar.gz,TencentKona8.0.6.b2-internal_jdk_linux-x86_64_8u292.tar.gz\"已上傳到/root目錄\"

RocketMQ 2m-2s-async 叢集搭建

0. 配置環境變數 echo -e \'\\nexport ROCKETMQ_HOME=/data/rocketmq\\nexport PATH=$ROCKETMQ_HOME/bin:$PATH\' >> /etc/profile

confluent-kafka叢集搭建

1.   什麼是confluent-kafka? Confluent Platform 是一個流資料平臺，能夠組織管理來自不同資料來源的資料，擁有穩定高效的系統。

Keepalived+Nginx高可用叢集搭建筆記

前言 Keepalived是以VRRP（Virtual Router Redundancy Protocol，虛擬路由冗餘協議）協議為實現基礎的，這個協議可以認為是實現了路由器高可用的協議，將多臺提供相同功能的路由器組成一個路由器組。

Nacos叢集搭建過程詳解

Nacos的單節點，也就是我們最開始使用的standalone模式，配置的資料是預設儲存到內嵌的資料庫derby中。