RocketMQ叢集搭建

阿新 • • 發佈：2020-11-30

1. RocketMQ叢集搭建

1.1 各角色介紹

Producer：訊息的傳送者；舉例：發信者
Consumer：訊息接收者；舉例：收信者
Broker：暫存和傳輸訊息；舉例：郵局
NameServer：管理Broker；舉例：各個郵局的管理機構
Topic：區分訊息的種類；一個傳送者可以傳送訊息給一個或者多個Topic；一個訊息的接收者可以訂閱一個或者多個Topic訊息
Message Queue：相當於是Topic的分割槽；用於並行傳送和接收訊息

1.2 叢集搭建方式

1.2.1 叢集特點

NameServer是一個幾乎無狀態節點，可叢集部署，節點之間無任何資訊同步。
Broker部署相對複雜，Broker分為Master與Slave，一個Master可以對應多個Slave，但是一個Slave只能對應一個Master，Master與Slave的對應關係通過指定相同的BrokerName，不同的BrokerId來定義，BrokerId為0表示Master，非0表示Slave。Master也可以部署多個。每個Broker與NameServer叢集中的所有節點建立長連線，定時註冊Topic資訊到所有NameServer。
Producer與NameServer叢集中的其中一個節點（隨機選擇）建立長連線，定期從NameServer取Topic路由資訊，並向提供Topic服務的Master建立長連線，且定時向Master傳送心跳。Producer完全無狀態，可叢集部署。
Consumer與NameServer叢集中的其中一個節點（隨機選擇）建立長連線，定期從NameServer取Topic路由資訊，並向提供Topic服務的Master、Slave建立長連線，且定時向Master、Slave傳送心跳。Consumer既可以從Master訂閱訊息，也可以從Slave訂閱訊息，訂閱規則由Broker配置決定。

1.2.2 叢集模式

1）單Master模式

這種方式風險較大，一旦Broker重啟或者宕機時，會導致整個服務不可用。不建議線上環境使用,可以用於本地測試。

2）多Master模式

一個叢集無Slave，全是Master，例如2個Master或者3個Master，這種模式的優缺點如下：

優點：配置簡單，單個Master宕機或重啟維護對應用無影響，在磁碟配置為RAID10時，即使機器宕機不可恢復情況下，由於RAID10磁碟非常可靠，訊息也不會丟（非同步刷盤丟失少量訊息，同步刷盤一條不丟），效能最高；
缺點：單臺機器宕機期間，這臺機器上未被消費的訊息在機器恢復之前不可訂閱，訊息實時性會受到影響。

3）多Master多Slave模式（非同步）

每個Master配置一個Slave，有多對Master-Slave，HA採用非同步複製方式，主備有短暫訊息延遲（毫秒級），這種模式的優缺點如下：

優點：即使磁碟損壞，訊息丟失的非常少，且訊息實時性不會受影響，同時Master宕機後，消費者仍然可以從Slave消費，而且此過程對應用透明，不需要人工干預，效能同多Master模式幾乎一樣；
缺點：Master宕機，磁碟損壞情況下會丟失少量訊息。

4）多Master多Slave模式（同步）

每個Master配置一個Slave，有多對Master-Slave，HA採用同步雙寫方式，即只有主備都寫成功，才嚮應用返回成功，這種模式的優缺點如下：

優點：資料與服務都無單點故障，Master宕機情況下，訊息無延遲，服務可用性與資料可用性都非常高；
缺點：效能比非同步複製模式略低（大約低10%左右），傳送單個訊息的RT會略高，且目前版本在主節點宕機後，備機不能自動切換為主機。

1.3 雙主雙從叢集搭建

1.3.1 總體架構

訊息高可用採用2m-2s（同步雙寫）方式

1.3.2 叢集工作流程

啟動NameServer，NameServer起來後監聽埠，等待Broker、Producer、Consumer連上來，相當於一個路由控制中心。
Broker啟動，跟所有的NameServer保持長連線，定時傳送心跳包。心跳包中包含當前Broker資訊(IP+埠等)以及儲存所有Topic資訊。註冊成功後，NameServer叢集中就有Topic跟Broker的對映關係。
收發訊息前，先建立Topic，建立Topic時需要指定該Topic要儲存在哪些Broker上，也可以在傳送訊息時自動建立Topic。
Producer傳送訊息，啟動時先跟NameServer叢集中的其中一臺建立長連線，並從NameServer中獲取當前傳送的Topic存在哪些Broker上，輪詢從佇列列表中選擇一個佇列，然後與佇列所在的Broker建立長連線從而向Broker發訊息。
Consumer跟Producer類似，跟其中一臺NameServer建立長連線，獲取當前訂閱Topic存在哪些Broker上，然後直接跟Broker建立連線通道，開始消費訊息。

1.3.3 伺服器環境

序號	IP	角色	架構模式
1	192.168.1.144	nameserver、brokerserver	Master1、Slave2
2	192.168.1.145	nameserver、brokerserver	Master2、Slave1

1.3.4 Host新增資訊

vim /etc/hosts

配置如下:

# nameserver
192.168.1.144 rocketmq-nameserver1
192.168.1.145 rocketmq-nameserver2
# broker
192.168.1.144 rocketmq-master1
192.168.1.144 rocketmq-slave2
192.168.1.145 rocketmq-master2
192.168.1.145 rocketmq-slave1

配置完成後, 重啟網絡卡

systemctl restart network

1.3.5 防火牆配置

宿主機需要遠端訪問虛擬機器的rocketmq服務和web服務，需要開放相關的埠號，簡單粗暴的方式是直接關閉防火牆

# 關閉防火牆
systemctl stop firewalld.service 
# 檢視防火牆的狀態
firewall-cmd --state 
# 禁止firewall開機啟動
systemctl disable firewalld.service

或者為了安全，只開放特定的埠號，RocketMQ預設使用3個埠：9876 、10911 、11011 。如果防火牆沒有關閉的話，那麼防火牆就必須開放這些埠：

nameserver 預設使用 9876 埠
master 預設使用 10911 埠
slave 預設使用11011 埠

執行以下命令：

# 開放name server預設埠
firewall-cmd --remove-port=9876/tcp --permanent
# 開放master預設埠
firewall-cmd --remove-port=10911/tcp --permanent
# 開放slave預設埠 (當前叢集模式可不開啟)
firewall-cmd --remove-port=11011/tcp --permanent 
# 重啟防火牆
firewall-cmd --reload

1.3.6 環境變數配置

vim /etc/profile

在profile檔案的末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/root/rocketmq-all-4.4.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

輸入:wq! 儲存並退出，並使得配置立刻生效：

source /etc/profile

1.3.7 建立訊息儲存路徑

mkdir -p /usr/local/rocketmq/store
mkdir -p /usr/local/rocketmq/store/commitlog
mkdir -p /usr/local/rocketmq/store/consumequeue
mkdir -p /usr/local/rocketmq/store/index
mkdir -p /usr/local/rocketmq/store1
mkdir -p /usr/local/rocketmq/store1/commitlog
mkdir -p /usr/local/rocketmq/store1/consumequeue
mkdir -p /usr/local/rocketmq/store1/index

1.3.8 broker配置檔案

1）master1

伺服器：192.168.1.144

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

2）slave2

伺服器：192.168.1.144

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=11011
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store1
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store1/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store1/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store1/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store1/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store1/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

3）master2

伺服器：192.168.1.145

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

4）slave1

伺服器：192.168.1.145

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=11011
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/rocketmq/store1
#commitLog 儲存路徑
storePathCommitLog=/usr/local/rocketmq/store1/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/usr/local/rocketmq/store1/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/rocketmq/store1/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/usr/local/rocketmq/store1/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/rocketmq/store1/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

1.3.9 修改啟動指令碼檔案

1）runbroker.sh

vi /usr/local/rocketmq/bin/runbroker.sh

需要根據記憶體大小進行適當的對JVM引數進行調整：

#===================================================
# 開發環境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

2）runserver.sh

vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

1.3.10 服務啟動

1）啟動NameServe叢集

分別在192.168.1.144和192.168.1.145啟動NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &

2）啟動Broker叢集

在192.168.1.144上啟動master1和slave2

master1：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties &

slave2：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

在192.168.1.145上啟動master2和slave2

master2

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

1.3.11 檢視程序狀態

啟動後通過JPS檢視啟動程序

1.3.12 檢視日誌

# 檢視nameServer日誌
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 檢視broker日誌
tail -500f ~/logs/rocketmqlogs/broker.log

1.4 mqadmin管理工具

1.4.1 使用方式

進入RocketMQ安裝位置，在bin目錄下執行./mqadmin {command} {args}

1.4.2 命令介紹

1）Topic相關

名稱	含義	命令選項	說明
updateTopic	建立更新Topic配置	-b	Broker 地址，表示 topic 所在 Broker，只支援單臺Broker，地址為ip:port
		-c	cluster 名稱，表示 topic 所在叢集（叢集可通過 clusterList 查詢）
		-h-	列印幫助
		-n	NameServer服務地址，格式 ip:port
		-p	指定新topic的讀寫許可權( W=2\|R=4\|WR=6 )
		-r	可讀佇列數（預設為 8）
		-w	可寫佇列數（預設為 8）
		-t	topic 名稱（名稱只能使用字元 ^[a-zA-Z0-9_-]+$ ）
deleteTopic	刪除Topic	-c	cluster 名稱，表示刪除某叢集下的某個 topic （叢集可通過 clusterList 查詢）
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic 名稱（名稱只能使用字元 ^[a-zA-Z0-9_-]+$ ）
topicList	檢視 Topic 列表資訊	-h	列印幫助
		-c	不配置-c只返回topic列表，增加-c返回clusterName, topic, consumerGroup資訊，即topic的所屬叢集和訂閱關係，沒有引數
		-n	NameServer 服務地址，格式 ip:port
topicRoute	檢視 Topic 路由資訊	-t	topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
topicStatus	檢視 Topic 訊息佇列offset	-t	topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
topicClusterList	檢視 Topic 所在叢集列表	-t	topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
updateTopicPerm	更新 Topic 讀寫許可權	-t	topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-b	Broker 地址，表示 topic 所在 Broker，只支援單臺Broker，地址為ip:port
		-p	指定新 topic 的讀寫許可權( W=2\|R=4\|WR=6 )
		-c	cluster 名稱，表示 topic 所在叢集（叢集可通過 clusterList 查詢），-b優先，如果沒有-b，則對叢集中所有Broker執行命令
updateOrderConf	從NameServer上建立、刪除、獲取特定名稱空間的kv配置，目前還未啟用	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic，鍵
		-v	orderConf，值
		-m	method，可選get、put、delete
allocateMQ	以平均負載演算法計算消費者列表負載訊息佇列的負載結果	-t	topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-i	ipList，用逗號分隔，計算這些ip去負載Topic的訊息佇列
statsAll	列印Topic訂閱關係、TPS、積累量、24h讀寫總量等資訊	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-a	是否只打印活躍topic
		-t	指定topic

#### 2）叢集相關

名稱	含義	命令選項	說明
clusterList	檢視叢集資訊，叢集、BrokerName、BrokerId、TPS等資訊	-m	列印更多資訊 (增加打印出如下資訊 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday)
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-i	列印間隔，單位秒
clusterRT	傳送訊息檢測叢集各Broker RT。訊息發往${BrokerName} Topic。	-a	amount，每次探測的總數，RT = 總時間 / amount
		-s	訊息大小，單位B
		-c	探測哪個叢集
		-p	是否列印格式化日誌，以\|分割，預設不列印
		-h	列印幫助
		-m	所屬機房，列印使用
		-i	傳送間隔，單位秒
		-n	NameServer 服務地址，格式 ip:port

3）Broker相關

名稱	含義	命令選項	說明
updateBrokerConfig	更新 Broker 配置檔案，會修改Broker.conf	-b	Broker 地址，格式為ip:port
		-c	cluster 名稱
		-k	key 值
		-v	value 值
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
brokerStatus	檢視 Broker 統計資訊、執行狀態（你想要的資訊幾乎都在裡面）	-b	Broker 地址，地址為ip:port
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
brokerConsumeStats	Broker中各個消費者的消費情況，按Message Queue維度返回Consume Offset，Broker Offset，Diff，TImestamp等資訊	-b	Broker 地址，地址為ip:port
		-t	請求超時時間
		-l	diff閾值，超過閾值才打印
		-o	是否為順序topic，一般為false
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
getBrokerConfig	獲取Broker配置	-b	Broker 地址，地址為ip:port
getBrokerConfig	獲取Broker配置	-n	NameServer 服務地址，格式 ip:port
wipeWritePerm	從NameServer上清除 Broker寫許可權	-b	Broker 地址，地址為ip:port
		-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
cleanExpiredCQ	清理Broker上過期的Consume Queue，如果手動減少對列數可能產生過期佇列	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-b	Broker 地址，地址為ip:port
		-c	叢集名稱
cleanUnusedTopic	清理Broker上不使用的Topic，從記憶體中釋放Topic的Consume Queue，如果手動刪除Topic會產生不使用的Topic	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-b	Broker 地址，地址為ip:port
		-c	叢集名稱
sendMsgStatus	向Broker發訊息，返回傳送狀態和RT	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-b	BrokerName，注意不同於Broker地址
		-s	訊息大小，單位B
		-c	傳送次數

#### 4）訊息相關

名稱	含義	命令選項	說明
queryMsgById	根據offsetMsgId查詢msg，如果使用開源控制檯，應使用offsetMsgId，此命令還有其他引數，具體作用請閱讀QueryMsgByIdSubCommand。	-i	msgId
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
queryMsgByKey	根據訊息 Key 查詢訊息	-k	msgKey
		-t	Topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
queryMsgByOffset	根據 Offset 查詢訊息	-b	Broker 名稱，（這裡需要注意填寫的是 Broker 的名稱，不是 Broker 的地址，Broker 名稱可以在 clusterList 查到）
		-i	query 佇列 id
		-o	offset 值
		-t	topic 名稱
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
queryMsgByUniqueKey	根據msgId查詢，msgId不同於offsetMsgId，區別詳見常見運維問題。-g，-d配合使用，查到訊息後嘗試讓特定的消費者消費訊息並返回消費結果	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-i	uniqe msg id
		-g	consumerGroup
		-d	clientId
		-t	topic名稱
checkMsgSendRT	檢測向topic發訊息的RT，功能類似clusterRT	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-a	探測次數
		-s	訊息大小
sendMessage	傳送一條訊息，可以根據配置發往特定Message Queue，或普通傳送。	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-p	body，訊息體
		-k	keys
		-c	tags
		-b	BrokerName
		-i	queueId
consumeMessage	消費訊息。可以根據offset、開始&結束時間戳、訊息佇列消費訊息，配置不同執行不同消費邏輯，詳見ConsumeMessageCommand。	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-b	BrokerName
		-o	從offset開始消費
		-i	queueId
		-g	消費者分組
		-s	開始時間戳，格式詳見-h
		-d	結束時間戳
		-c	消費多少條訊息
printMsg	從Broker消費訊息並列印，可選時間段	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-c	字符集，例如UTF-8
		-s	subExpress，過濾表示式
		-b	開始時間戳，格式參見-h
		-e	結束時間戳
		-d	是否列印訊息體
printMsgByQueue	類似printMsg，但指定Message Queue	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-t	topic名稱
		-i	queueId
		-a	BrokerName
		-c	字符集，例如UTF-8
		-s	subExpress，過濾表示式
		-b	開始時間戳，格式參見-h
		-e	結束時間戳
		-p	是否列印訊息
		-d	是否列印訊息體
		-f	是否統計tag數量並列印
resetOffsetByTime	按時間戳重置offset，Broker和consumer都會重置	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-g	消費者分組
		-t	topic名稱
		-s	重置為此時間戳對應的offset
		-f	是否強制重置，如果false，只支援回溯offset，如果true，不管時間戳對應offset與consumeOffset關係
		-c	是否重置c++客戶端offset

5）消費者、消費組相關

名稱	含義	命令選項	說明
consumerProgress	檢視訂閱組消費狀態，可以檢視具體的client IP的訊息積累量	-g	消費者所屬組名
		-s	是否列印client IP
		-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
consumerStatus	檢視消費者狀態，包括同一個分組中是否都是相同的訂閱，分析Process Queue是否堆積，返回消費者jstack結果，內容較多，使用者參見ConsumerStatusSubCommand	-h	列印幫助
		-n	NameServer 服務地址，格式 ip:port
		-g	consumer group
		-i	clientId
		-s	是否執行jstack
getConsumerStatus	獲取 Consumer 消費進度	-g	消費者所屬組名
		-t	查詢主題
		-i	Consumer 客戶端 ip
		-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
updateSubGroup	更新或建立訂閱關係	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-b	Broker地址
		-c	叢集名稱
		-g	消費者分組名稱
		-s	分組是否允許消費
		-m	是否從最小offset開始消費
		-d	是否是廣播模式
		-q	重試佇列數量
		-r	最大重試次數
		-i	當slaveReadEnable開啟時有效，且還未達到從slave消費時建議從哪個BrokerId消費，可以配置備機id，主動從備機消費
		-w	如果Broker建議從slave消費，配置決定從哪個slave消費，配置BrokerId，例如1
		-a	當消費者數量變化時是否通知其他消費者負載均衡
deleteSubGroup	從Broker刪除訂閱關係	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-b	Broker地址
		-c	叢集名稱
		-g	消費者分組名稱
cloneGroupOffset	在目標群組中使用源群組的offset	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-s	源消費者組
		-d	目標消費者組
		-t	topic名稱
		-o	暫未使用

6）連線相關

名稱	含義	命令選項	說明
consumerConnec tion	查詢 Consumer 的網路連線	-g	消費者所屬組名
		-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
producerConnec tion	查詢 Producer 的網路連線	-g	生產者所屬組名
		-t	主題名稱
		-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助

7）NameServer相關

名稱	含義	命令選項	說明
updateKvConfig	更新NameServer的kv配置，目前還未使用	-s	名稱空間
		-k	key
		-v	value
		-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
deleteKvConfig	刪除NameServer的kv配置	-s	名稱空間
		-k	key
		-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
getNamesrvConfig	獲取NameServer配置	-n	NameServer 服務地址，格式 ip:port
getNamesrvConfig	獲取NameServer配置	-h	列印幫助
updateNamesrvConfig	修改NameServer配置	-n	NameServer 服務地址，格式 ip:port
		-h	列印幫助
		-k	key
		-v	value

8）其他

名稱	含義	命令選項	說明
startMonitoring	開啟監控程序，監控訊息誤刪、重試佇列訊息數等	-n	NameServer 服務地址，格式 ip:port
startMonitoring	開啟監控程序，監控訊息誤刪、重試佇列訊息數等	-h	列印幫助

### 1.4.3 注意事項

幾乎所有命令都需要配置-n表示NameServer地址，格式為ip:port
幾乎所有命令都可以通過-h獲取幫助
如果既有Broker地址（-b）配置項又有clusterName（-c）配置項，則優先以Broker地址執行命令；如果不配置Broker地址，則對叢集中所有主機執行命令

1.5 叢集監控平臺搭建

1.5.1 概述

RocketMQ有一個對其擴充套件的開源專案incubator-rocketmq-externals，這個專案中有一個子模組叫rocketmq-console，這個便是管理控制檯專案了，先將incubator-rocketmq-externals拉到本地，因為我們需要自己對rocketmq-console進行編譯打包執行。

1.5.2 下載並編譯打包

git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
mvn clean package -Dmaven.test.skip=true

注意：打包前在rocketmq-console中配置namesrv叢集地址：

rocketmq.config.namesrvAddr=192.168.1.144:9876;192.168.1.145:9876

啟動rocketmq-console：

java -jar rocketmq-console-ng-1.0.0.jar

啟動成功後，我們就可以通過瀏覽器訪問http://192.168.1.144:8080進入控制檯介面了，如下圖：

叢集狀態：

RocketMQ叢集搭建

1. RocketMQ叢集搭建 1.1 各角色介紹 Producer：訊息的傳送者；舉例：發信者 Consumer：訊息接收者；舉例：收信者

RocketMQ叢集搭建(例項)

網上很多搭建RocketMQ的教程,但是在樓主的瘋狂百度以及瘋狂採坑下,終於成功的搭建了一個RocketMQ的叢集(LingZsj真的是太難了啊~.~)

RocketMQ叢集搭建(3m-3s-async)

RocketMQ叢集搭建(3m-3s-async) 各角色介紹角色作用 Producer 訊息傳送者，將訊息傳送到 Broker。無狀態，其與NameServer叢集中的一個節點建立長連線，定期從NameServer獲取Topic路由資訊，並與提供Topic服務的

RocketMQ叢集搭建1

1.各角色介紹 Producer：訊息的傳送者。舉例：發信者 Consumer：訊息的接收者。舉例：收信者

RocketMQ叢集搭建2

1.修改配置配件本次搭的叢集是雙主雙從的同步模式雙主雙從的配置檔案再上圖所示的裡面

rocketMq資料收集及docker裡叢集搭建筆記

RocketMQ簡介與在docker安裝與部署一、MQ對比 MQ，是一種跨程序的通訊機制，用於上下游傳遞訊息。在傳統的網際網路架構中通常使用MQ來對上下游來做解耦合。

RocketMQ - 0 環境 & 叢集搭建

RocketMQ - 環境 & 叢集搭建 2.1) 方案一 2.1.1) 上傳壓縮包步驟1：安裝JDK（1.8）

RocketMQ--環境搭建（單機&docker&叢集）

一、單機安裝　　1、安裝RocketMQ需要使用JDK，首先需要配置好JDK，安裝JDK 　　2、下載並啟動RocketMQ

rocketMq叢集master模式搭建

首先說明，本文是講述使用vmware虛擬機器搭建3臺伺服器，相當於3臺linux伺服器，並且vmware模擬的也是linux系統。其中在vmware設定了靜態ip，為了方便操作，能夠使用xshell連線，具體如何使用xshell連線vmware的，請

RocketMQ 2m-2s-async 叢集搭建

0. 配置環境變數 echo -e \'\\nexport ROCKETMQ_HOME=/data/rocketmq\\nexport PATH=$ROCKETMQ_HOME/bin:$PATH\' >> /etc/profile

confluent-kafka叢集搭建

1. 什麼是confluent-kafka? Confluent Platform 是一個流資料平臺，能夠組織管理來自不同資料來源的資料，擁有穩定高效的系統。

Keepalived+Nginx高可用叢集搭建筆記

前言 Keepalived是以VRRP（Virtual Router Redundancy Protocol，虛擬路由冗餘協議）協議為實現基礎的，這個協議可以認為是實現了路由器高可用的協議，將多臺提供相同功能的路由器組成一個路由器組。

Nacos叢集搭建過程詳解

Nacos的單節點，也就是我們最開始使用的standalone模式，配置的資料是預設儲存到內嵌的資料庫derby中。

ElasticSearch + SearchGuard 叢集搭建

背景介紹業務原有ES叢集因證書到期，需要進行證書更換操作。由於更新證書後需重啟整個集群后才能生效，且業務敏感度較高，無法容忍整個叢集停止對外服務。

Redis各叢集搭建之叢集模式

Redis高可用：主從模式、哨兵模式、叢集模式 github source mkdir cluster-test cd cluster-test

Crawlab 單節點服務叢集搭建部署簡明教程

本文經授權轉載自清雨的部落格，作者會定期更新相關資訊，歡迎前往閱讀。

Linux(Centos7)下redis5叢集搭建和使用說明詳解

1、簡要說明 2018年十月 Redis 釋出了穩定版本的 5.0 版本，推出了各種新特性，其中一點是放棄 Ruby的叢集方式，改為使用 C語言編寫的 redis-cli的方式，是叢集的構建方式複雜度大大降低。關於叢集的更新可以在 Red

MongoDB學習以及叢集搭建的實踐全紀錄

前言最近一些變動，有一個老專案交由我們組負責維護，碰到這樣的事情我的內心是崩潰的，但還得強顏歡笑，拍著胸脯說沒問題。更悲哀的是，該專案中還使用了mongo，還是自己搭建的，沒有交由DBA統一管理，無奈，只能趕

Redis主從及叢集搭建

1. 主從配置 Redis主從主要用來實現資料的複製，避免資料丟失以及實現讀寫分離

docker redis5.0 cluster叢集搭建的實現

系統環境：ubuntu16.04LTS 本文是使用 6 個 docker 容器搭建單機叢集測試，實際環境如果是多臺，可對應修改容器數量、埠號和叢集 ip 地址，每臺機器都按下面步驟同樣操作即可。

RocketMQ叢集搭建

1. RocketMQ叢集搭建

1.1 各角色介紹

1.2 叢集搭建方式

1.2.1 叢集特點

1.2.2 叢集模式

1）單Master模式

2）多Master模式

3）多Master多Slave模式（非同步）

4）多Master多Slave模式（同步）

1.3 雙主雙從叢集搭建

1.3.1 總體架構

1.3.2 叢集工作流程

1.3.3 伺服器環境

1.3.4 Host新增資訊

1.3.5 防火牆配置

1.3.6 環境變數配置

1.3.7 建立訊息儲存路徑

1.3.8 broker配置檔案

1）master1

2）slave2

3）master2

4）slave1

1.3.9 修改啟動指令碼檔案

1）runbroker.sh

2）runserver.sh

1.3.10 服務啟動

1）啟動NameServe叢集

2）啟動Broker叢集

1.3.11 檢視程序狀態

1.3.12 檢視日誌

1.4 mqadmin管理工具

1.4.1 使用方式

1.4.2 命令介紹

1）Topic相關

3）Broker相關

5）消費者、消費組相關

6）連線相關

7）NameServer相關

8）其他

1.5 叢集監控平臺搭建

1.5.1 概述

1.5.2 下載並編譯打包

相關推薦