2. 程式人生 > 實用技巧 >2. RocketMQ 2Master和 2Slave模式部署

2. RocketMQ 2Master和 2Slave模式部署

阿新 • • 發佈：2020-12-14

  1. 版本選擇

    版本部署使用者部署目錄
    rocketmq-all-4.6.1-bin-release rocketmq-console-ng-2.0.0.jar bybank /data/app

    rocketmq-console下載地址：https://github.com/apache/rocketmq-externals

  2. 描述資訊

    每個 Master 配置一個 Slave，有多對Master-Slave，HA採用同步雙寫方式，主備都寫成功，嚮應用返回成功。

    優點：資料與服務都無單點，Master宕機情況下，訊息無延遲，服務可用性與資料可用性都非常高。
    缺點：效能比非同步複製模式略低，大約低10%左右，傳送單個訊息的RT會略高。目前主宕機後，備機不能自動切換為主機，後續會支援自動切換功能。

    ### 先啟動 NameServer
    ### 在機器 A，啟動第一個 Master
    ### 在機器 B，啟動第二個 Master
    ### 在機器 C，啟動第一個 Slave
    ### 在機器 D，啟動第二個 Slave
    以上 Broker 與 Slave 配對是通過指定相同的brokerName 引數來配對，Master的 BrokerId 必須是 0，Slave 的BrokerId 必須是大與 0 的數。
    另外一個 Master 下面可以掛載多個 Slave，同一 Master 下的多個 Slave通過指定不同的 BrokerId來區分。

  3. 伺服器IP資訊

    序號IP地址角色模式
    A 192.168.160.98
    		 
     nameServer1,brokerServer1 
    Master1
    B 192.168.160.99 
    nameServer2,brokerServer2
    		 
    Master2
    C 192.168.160.101 
     nameServer3,brokerServer3 
    Master1-slave1
    D 192.168.160.102 
    nameServer3,brokerServer4
    		 
    Master2-slave2

  4. 主機修改hostname【4臺伺服器】

    # cat /etc/hosts

    192.168.160.98 rocketmq-nameserver1
    192.168.160.98 rocketmq-master1
    192.168.160.99 rocketmq-nameserver2
    192.168.160.99 rocketmq-master2
    192.168.160.101 rocketmq-master1-slave1
    192.168.160.102 rocketmq-master2-slave1

  5. 上傳解壓【4臺伺服器】

    #cd /data/app;unzip rocketmq-all-4.6.1-bin-release # mv rocketmq-all-4.6.1-bin-release rocketmq-4.6.1 # ln -s rocketmq-4.6.1 rocketmq

  6. 建立儲存路徑【4臺伺服器】

    #mkdir /data/app/rocketmq/store
    #mkdir /data/app/rocketmq/store/commitlog
    #mkdir /data/app/rocketmq/store/consumequeue
    #mkdir /data/app/rocketmq/store/index



  7. 修改RocketMQ配置檔案【4臺機器】

    【broker-a.properties檔案】

    #所屬叢集名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此處不同的配置檔案填寫的不一樣
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分號分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
    #defaultTopicQueueNums=4
    #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
    #autoCreateTopicEnable=true
    #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽埠
    listenPort=10911
    #刪除檔案時間點，預設凌晨 4點
    deleteWhen=04
    #檔案保留時間，預設 48 小時
    fileReservedTime=120
    #commitLog每個檔案的大小預設1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理檔案磁碟空間
    diskMaxUsedSpaceRatio=88
    #儲存路徑
    storePathRootDir=/data/app/rocketmq/store
    #commitLog 儲存路徑
    storePathCommitLog=/data/app/rocketmq/store/commitlog
    #消費佇列儲存路徑儲存路徑
    storePathConsumeQueue=/data/app/rocketmq/store/consumequeue
    #訊息索引儲存路徑
    storePathIndex=/data/app/rocketmq/store/index
    #checkpoint 檔案儲存路徑
    storeCheckpoint=/data/app/rocketmq/store/checkpoint
    #abort 檔案儲存路徑
    abortFile=/data/app/rocketmq/store/abort
    #限制的訊息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 非同步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盤方式
    #- ASYNC_FLUSH 非同步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發訊息執行緒池數量
    #sendMessageThreadPoolNums=128
    #拉訊息執行緒池數量
    #pullMessageThreadPoolNums=128
    #強制指定本機IP，需要根據每臺機器進行修改。官方介紹可為空，系統預設自動識別，但多網絡卡時IP地址可能讀取錯誤
    brokerIP1=192.168.160.98


    【broker-a-s.properties檔案】

    #所屬叢集名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此處不同的配置檔案填寫的不一樣
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分號分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
    #defaultTopicQueueNums=4
    #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
    #autoCreateTopicEnable=true
    #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽埠
    listenPort=10911
    #刪除檔案時間點，預設凌晨 4點
    deleteWhen=04
    #檔案保留時間，預設 48 小時
    fileReservedTime=120
    #commitLog每個檔案的大小預設1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理檔案磁碟空間
    diskMaxUsedSpaceRatio=88
    #儲存路徑
    storePathRootDir=/data/app/rocketmq/store
    #commitLog 儲存路徑
    storePathCommitLog=/data/app/rocketmq/store/commitlog
    #消費佇列儲存路徑儲存路徑
    storePathConsumeQueue=/data/app/rocketmq/store/consumequeue
    #訊息索引儲存路徑
    storePathIndex=/data/app/rocketmq/store/index
    #checkpoint 檔案儲存路徑
    storeCheckpoint=/data/app/rocketmq/store/checkpoint
    #abort 檔案儲存路徑
    abortFile=/data/app/rocketmq/store/abort
    #限制的訊息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 非同步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盤方式
    #- ASYNC_FLUSH 非同步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發訊息執行緒池數量
    #sendMessageThreadPoolNums=128
    #拉訊息執行緒池數量
    #pullMessageThreadPoolNums=128
    #強制指定本機IP，需要根據每臺機器進行修改。官方介紹可為空，系統預設自動識別，但多網絡卡時IP地址可能讀取錯誤
    brokerIP1=192.168.160.101

    【broker-b.properties檔案】

    #所屬叢集名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此處不同的配置檔案填寫的不一樣
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分號分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
    #defaultTopicQueueNums=4
    #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
    #autoCreateTopicEnable=true
    #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽埠
    listenPort=10911
    #刪除檔案時間點，預設凌晨 4點
    deleteWhen=04
    #檔案保留時間，預設 48 小時
    fileReservedTime=120
    #commitLog每個檔案的大小預設1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理檔案磁碟空間
    diskMaxUsedSpaceRatio=88
    #儲存路徑
    storePathRootDir=/data/app/rocketmq/store
    #commitLog 儲存路徑
    storePathCommitLog=/data/app/rocketmq/store/commitlog
    #消費佇列儲存路徑儲存路徑
    storePathConsumeQueue=/data/app/rocketmq/store/consumequeue
    #訊息索引儲存路徑
    storePathIndex=/data/app/rocketmq/store/index
    #checkpoint 檔案儲存路徑
    storeCheckpoint=/data/app/rocketmq/store/checkpoint
    #abort 檔案儲存路徑
    abortFile=/data/app/rocketmq/store/abort
    #限制的訊息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 非同步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盤方式
    #- ASYNC_FLUSH 非同步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發訊息執行緒池數量
    #sendMessageThreadPoolNums=128
    #拉訊息執行緒池數量
    #pullMessageThreadPoolNums=128
    #強制指定本機IP，需要根據每臺機器進行修改。官方介紹可為空，系統預設自動識別，但多網絡卡時IP地址可能讀取錯誤
    brokerIP1=192.168.160.99

    【broker-b-s.properties檔案】

    #所屬叢集名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此處不同的配置檔案填寫的不一樣
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分號分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
    #defaultTopicQueueNums=4
    #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
    #autoCreateTopicEnable=true
    #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽埠
    listenPort=10911
    #刪除檔案時間點，預設凌晨 4點
    deleteWhen=04
    #檔案保留時間，預設 48 小時
    fileReservedTime=120
    #commitLog每個檔案的大小預設1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理檔案磁碟空間
    diskMaxUsedSpaceRatio=88
    #儲存路徑
    storePathRootDir=/data/app/rocketmq/store
    #commitLog 儲存路徑
    storePathCommitLog=/data/app/rocketmq/store/commitlog
    #消費佇列儲存路徑儲存路徑
    storePathConsumeQueue=/data/app/rocketmq/store/consumequeue
    #訊息索引儲存路徑
    storePathIndex=/data/app/rocketmq/store/index
    #checkpoint 檔案儲存路徑
    storeCheckpoint=/data/app/rocketmq/store/checkpoint
    #abort 檔案儲存路徑
    abortFile=/data/app/rocketmq/store/abort
    #限制的訊息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 非同步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盤方式
    #- ASYNC_FLUSH 非同步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發訊息執行緒池數量
    #sendMessageThreadPoolNums=128
    #拉訊息執行緒池數量
    #pullMessageThreadPoolNums=128
    #強制指定本機IP，需要根據每臺機器進行修改。官方介紹可為空，系統預設自動識別，但多網絡卡時IP地址可能讀取錯誤
    brokerIP1=192.168.160.102

  8. 修改啟動指令碼引數【4臺伺服器】

    # vim/data/app/rocketmq/bin/runbroker.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
    XX:PermSize=128m -XX:MaxPermSize=320m"

    # vim /data/app/rocketmq/bin/runserver.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -
    XX:PermSize=128m -XX:MaxPermSize=320m"

    描述： 根據伺服器資源調整JVM

  9. 啟動NameServer【4臺伺服器】

    #cd /data/app/rocketmq/bin # sh mynamesrv &

  10. 啟動BrokerServer【4臺伺服器】

    【192.168.160.98】
    nameserver啟動方式：cd/data/app/rocketmq/bin/;shmqnamesrv&
    broker啟動方式：shmqbroker-c/data/app/rocketmq/conf/2m-2s-async/broker-a.properties>/dev/null2>&1&
    【192.168.160.99】
    nameserver啟動方式：cd/data/app/rocketmq/bin/;shmqnamesrv&
    broker啟動方式：shmqbroker-c/data/app/rocketmq/conf/2m-2s-async/broker-b.properties>/dev/null2>&1&

    【192.168.160.101】
    broker啟動方式：shmqbroker-c/data/app/rocketmq/conf/2m-2s-async/broker-a-s.properties>/dev/null2>&1&

    【192.168.160.102】
    broker啟動方式：shmqbroker-c/data/app/rocketmq/conf/2m-2s-async/broker-b-s.properties>/dev/null2>&1&



  11. 服務狀態查詢






  12. rocketmq-console-ng 安裝

    描述： 可以獨立服務，可以任意挑選一臺伺服器安裝

    a. 官網下載rocketmq-console-ng安裝包
    b. 在rocketmq-externals-master\rocketmq-console\src\main\resources下修改配置檔案application.properties,配置

    c.進入到 rocketmq-console 資料夾下，執行maven打包操作【打包可以使用jenkins測試打包服務192.168.138.191打包】

    #cd /存放路徑/rocketmq-console # /data/jenkins/tools/hudson.tasks.Maven_MavenInstallation/3.5.0/bin/mvn clean package -U -Dmaven.test.skip=true

    d. 找到包target/rocketmq-console-ng-2.0.0.jar下載下來，拷貝到192.168.160.98伺服器執行命令

    # java -jar target/rocketmq-console-ng-2.0.0.jar &

    e. 網頁訪問



【安裝包下載】

console預設賬戶密碼：admin/admin

相關推薦

2. RocketMQ 2Master和 2Slave模式部署

版本選擇 版本部署使用者部署目錄 rocketmq-all-4.6.1-bin-release rocketmq-console-ng-2.0.0.jar

Redis的主從模式和哨兵模式部署

Redis的主從模式和哨兵模式部署 目錄 一、Redis主從模式配置 1.1、案例拓撲圖 1.2、環境說明

《JavaScript 模式》讀書筆記（8）— DOM和瀏覽器模式2

四、長期執行指令碼 　　可能會注意到有時候瀏覽器會提示某個指令碼已經運行了很長時間，是否應該停止該指令碼。實際上無論要處理多麼複雜的任務，都不希望應用程式發生上述事情。而且，如果該指令碼的工作十分繁重，

RocketMQ的傳送模式和消費模式

前言 小夥伴們大家好啊，王子又來和大家一起閒談MQ技術了。 通過之前文章的學習，我們已經對RocketMQ的基本架構有了初步的瞭解，那今天王子就和大家一起來點實際的，用程式碼和大家一起看看RocketMQ的幾種傳送模式和

2-rocketmq-訊息傳送和接收

quick start 新增依賴 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client</artifactId>

MySQL 主從同步(1) - 概念和原理介紹 以及 主從/主主模式 部署記錄

Mysql複製概念 Mysql內建的複製功能是構建大型高效能應用程式的基礎, 將Mysql資料分佈到多個系統上，這種分佈機制是通過將Mysql某一臺主機資料複製到其它主機（slaves）上，並重新執行一遍來實現的。複製過程中一

Flink1.13.2版本 Standalone 模式部署

Flink的部署有3種模式，分別是local模式、Standalone模式、yarn模式。其中local就是單機模式，一般來說用於本地開發測試；Standalone跟yarn模式都可以支撐叢集部署、實現HA，但是兩者在任務分配機制、記憶體管理等內

《死亡迴歸》2.0版本更新上線 帶來暫停迴圈和拍照模式

PS5《死亡迴歸（Returnal）》更新2.0於今日正式推出，玩家可以暫停迴圈，並在拍照模式下欣賞阿特羅波斯之美。

八、hive3.1.2 安裝及其配置（本地模式和遠端模式）

目錄前文hive3.1.2 安裝及其配置（本地模式和遠端模式）1、下載hive包2、修改其環境變數3、MySQL配置Centos7 MySQL安裝步驟：1、設定MySQL源2、安裝MySQL Community Server3、啟動MySQL服務4、查詢MySQL root密碼5、

《守望先鋒 2》 官宣 4 月 26 日正式開測：包括 5v5 模式、全新輸出英雄和遊戲模式

3 月 19 日訊息，《守望先鋒》今日宣佈：《守望先鋒》2.0 PVP 模式 Beta 測將於 4 月 26 日正式開始。測試包括內容：5v5 模式、全新輸出英雄：索傑恩、全新遊戲模式：機動推進、英雄重做、4 張全新地圖等。提醒，因

RocketMQ構建docker映象及部署(2)

1.拉取dockerHub構建好的映象 docker pull ashscc/rocketmq:4.8.0 2.建立需要掛載進去的檔案目錄以及配置

RocketMQ 生產者和訊息儲存

RocketMQ 生產者和訊息儲存 1. 前言 本篇主要從原始碼分析訊息的傳送及儲存。rocketmq傳送訊息分為三種實現方式：可靠同步傳送、可靠非同步傳送、單向傳送。目前的MQ中介軟體從儲存模型來看，分為需要持久化和不需要

Runtime原始碼解讀2（類和物件）

2019-10-10 在Runtime原始碼解讀（實現面向物件初探）中，從Cocoa框架中的runtime.h標頭檔案公開的資料結構及 API 對 runtime 整體有一個大概的認知。從本文開始具體分析 Apple 開源的runtime原始碼。本文介紹 runti

Java併發程式設計入門（十二）生產者和消費者模式-程式碼模板

Java極客  |  作者  /  鏗然一葉 這是Java極客的第 40 篇原創文章 一、應用場景

Django專案學習5--註冊功能2，session和redis快取驗證碼（流水賬）

前面利用了uuid加圖形驗證碼的方式來進行驗證，一般驗證碼都有個過期時間。下面來設定過期時間。

IntelliJ IDEA2020新增禪模式和LightEdit模式

IntelliJ IDEA 2020.1 的第二個早期訪問版本已釋出，新的 EAP 構建對偵錯程式和事件探查器（Profiler）進行了改進，並引入了新的提交工具視窗（Commit toolwindow）以及禪模式（Zen Mode）。

ThinkPHP3.1.2 使用cli命令列模式執行的方法

前言 thinkphp3.1.2 需要使用cli方法執行指令碼 折騰了一天才搞定 3.1.2的版本真的很古老

win10系統平板模式和桌面模式如何切換_win10系統的平板與桌面模式的設定方法

最近有朋友問小編win10系統平板模式和桌面模式如何切換，對於這個問題，相信還有很多朋友不太清楚。Win10系統中可以設定平板模式和桌面模式，非常的好用方便。但是很多剛使用win10的新手朋友還不太熟悉win10的功能與

5. 1、2類LSA和SPF計算路由

1.DR/BDR 1.1 採用預設的NBMA，同時HUB裝置（R1）成為DR，路由完整，路由的下一跳是分支的IP地址，但是由於分支間沒有地址對映，所以無法通訊

Fabric1.4.1 etcdraft模式部署

Fabric etcdraft模式部署 配置要求 以下資訊僅供參考 系統環境(Centos 7.5) Docker版本(19.03.12)