2. 程式人生 > >RocketMQ雙Master+雙Slave叢集環境搭建

RocketMQ雙Master+雙Slave叢集環境搭建

阿新 • • 發佈：2019-01-30
準備四臺機子：
主機1192.168.2.3
主機2192.168.2.4
從機1192.168.2.5
從機2192.168.2.6
1、關閉四臺機子的防火牆：
service iptables stop
2、修改四臺機子的主機檔案： 
vi /ect/hosts

192.168.2.3 rocketmq-nameserver1
192.168.2.3 rocketmq-master1
192.168.2.4 rocketmq-nameserver2
192.168.2.4 rocketmq-master2
192.168.2.5 rocketmq-nameserver3
192.168.2.5 rocketmq-master1-slave
192.168.2.6 rocketmq-nameserver4
192.168.2.6 rocketmq-master2-slave
3、重啟網絡卡： 
service network restart
4、上傳rocketmq的包，然後解壓並修改資料夾名稱，建立軟連線： 
tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C /usr/local/
mv alibaba-rocketmq-3.2.6 alibaba-rocketmq 
ln -s rocketmq -> alibaba-rocketmq/

5、為四臺機子建立儲存資料夾： 
mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index
6、為四臺機子修改配置檔案： cd /usr/local/alibaba-rocketmq-3.2.6/conf/2m-2s-async

vim broker-a.properties
複製如下內容： 
#所屬叢集名字
 brokerClusterName=rocketmq-cluster
 #broker名字，注意此處不同的配置檔案填寫的不一樣
 brokerName=broker-a
 #0 表示 Master，>0 表示 Slave
 brokerId=0
 #nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
 #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
 defaultTopicQueueNums=4
 #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
 autoCreateTopicEnable=true
 #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
 autoCreateSubscriptionGroup=true
 #Broker 對外服務的監聽埠
 listenPort=10911
 #刪除檔案時間點，預設凌晨 4點
 deleteWhen=04
 #檔案保留時間，預設 48 小時
 fileReservedTime=120
 #commitLog每個檔案的大小預設1G
 mapedFileSizeCommitLog=1073741824
 #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
 mapedFileSizeConsumeQueue=300000
 #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #檢測物理檔案磁碟空間
 diskMaxUsedSpaceRatio=88
 #儲存路徑
 storePathRootDir=/usr/local/rocketmq/store
 #commitLog 儲存路徑
 storePathCommitLog=/usr/local/rocketmq/store/commitlog
 #消費佇列儲存路徑儲存路徑
 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
 #訊息索引儲存路徑
 storePathIndex=/usr/local/rocketmq/store/index
 #checkpoint 檔案儲存路徑
 storeCheckpoint=/usr/local/rocketmq/store/checkpoint
 #abort 檔案儲存路徑
 abortFile=/usr/local/rocketmq/store/abort
 #限制的訊息大小
 maxMessageSize=65536
#flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000
 
vim broker-a-s.properties
複製進如下內容： 
#所屬叢集名字
 brokerClusterName=rocketmq-cluster
 #broker名字，注意此處不同的配置檔案填寫的不一樣
 brokerName=broker-a
 #0 表示 Master，>0 表示 Slave
 brokerId=1
 #nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
 #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
 defaultTopicQueueNums=4
 #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
 autoCreateTopicEnable=true
 #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
 autoCreateSubscriptionGroup=true
 #Broker 對外服務的監聽埠
 listenPort=10911
 #刪除檔案時間點，預設凌晨 4點
 deleteWhen=04
 #檔案保留時間，預設 48 小時
 fileReservedTime=120
 #commitLog每個檔案的大小預設1G
 mapedFileSizeCommitLog=1073741824
 #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
 mapedFileSizeConsumeQueue=300000
 #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #檢測物理檔案磁碟空間
 diskMaxUsedSpaceRatio=88
 #儲存路徑
 storePathRootDir=/usr/local/rocketmq/store
 #commitLog 儲存路徑
 storePathCommitLog=/usr/local/rocketmq/store/commitlog
 #消費佇列儲存路徑儲存路徑
 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
 #訊息索引儲存路徑
 storePathIndex=/usr/local/rocketmq/store/index
 #checkpoint 檔案儲存路徑
 storeCheckpoint=/usr/local/rocketmq/store/checkpoint
 #abort 檔案儲存路徑
 abortFile=/usr/local/rocketmq/store/abort
 #限制的訊息大小
 maxMessageSize=65536
#flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000

#Broker 的角色
 #- ASYNC_MASTER  非同步複製Master
 #- SYNC_MASTER  同步雙寫Master
 #- SLAVE
 brokerRole=SLAVE
#刷盤方式 #- ASYNC_FLUSH  非同步刷盤 #- SYNC_FLUSH  同步刷盤
 flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量 #sendMessageThreadPoolNums=128 #拉訊息執行緒池數量 #pullMessageThreadPoolNums=128
vim broker-b.properties
#所屬叢集名字
 brokerClusterName=rocketmq-cluster
 #broker名字，注意此處不同的配置檔案填寫的不一樣
 brokerName=broker-b
 #0 表示 Master，>0 表示 Slave
 brokerId=0
 #nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
 #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
 defaultTopicQueueNums=4
 #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
 autoCreateTopicEnable=true
 #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
 autoCreateSubscriptionGroup=true
 #Broker 對外服務的監聽埠
 listenPort=10911
 #刪除檔案時間點，預設凌晨 4點
 deleteWhen=04
 #檔案保留時間，預設 48 小時
 fileReservedTime=120
 #commitLog每個檔案的大小預設1G
 mapedFileSizeCommitLog=1073741824
 #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
 mapedFileSizeConsumeQueue=300000
 #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #檢測物理檔案磁碟空間
 diskMaxUsedSpaceRatio=88
 #儲存路徑
 storePathRootDir=/usr/local/rocketmq/store
 #commitLog 儲存路徑
 storePathCommitLog=/usr/local/rocketmq/store/commitlog
 #消費佇列儲存路徑儲存路徑
 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
 #訊息索引儲存路徑
 storePathIndex=/usr/local/rocketmq/store/index
 #checkpoint 檔案儲存路徑
 storeCheckpoint=/usr/local/rocketmq/store/checkpoint
 #abort 檔案儲存路徑
 abortFile=/usr/local/rocketmq/store/abort
 #限制的訊息大小
 maxMessageSize=65536
#flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000

#Broker 的角色
 #- ASYNC_MASTER  非同步複製Master
 #- SYNC_MASTER  同步雙寫Master
 #- SLAVE
 brokerRole=ASYNC_MASTER
#刷盤方式 #- ASYNC_FLUSH  非同步刷盤 #- SYNC_FLUSH  同步刷盤
 flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量 #sendMessageThreadPoolNums=128 #拉訊息執行緒池數量 #pullMessageThreadPoolNums=128
vim broker-b-s.properties
複製進如下內容： 
#所屬叢集名字
 brokerClusterName=rocketmq-cluster
 #broker名字，注意此處不同的配置檔案填寫的不一樣
 brokerName=broker-b
 #0 表示 Master，>0 表示 Slave
 brokerId=1
 #nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
 #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數
 defaultTopicQueueNums=4
 #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
 autoCreateTopicEnable=true
 #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
 autoCreateSubscriptionGroup=true
 #Broker 對外服務的監聽埠
 listenPort=10911
 #刪除檔案時間點，預設凌晨 4點
 deleteWhen=04
 #檔案保留時間，預設 48 小時
 fileReservedTime=120
 #commitLog每個檔案的大小預設1G
 mapedFileSizeCommitLog=1073741824
 #ConsumeQueue每個檔案預設存30W條，根據業務情況調整
 mapedFileSizeConsumeQueue=300000
 #destroyMapedFileIntervalForcibly=120000
 #redeleteHangedFileInterval=120000
 #檢測物理檔案磁碟空間
 diskMaxUsedSpaceRatio=88
 #儲存路徑
 storePathRootDir=/usr/local/rocketmq/store
 #commitLog 儲存路徑
 storePathCommitLog=/usr/local/rocketmq/store/commitlog
 #消費佇列儲存路徑儲存路徑
 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
 #訊息索引儲存路徑
 storePathIndex=/usr/local/rocketmq/store/index
 #checkpoint 檔案儲存路徑
 storeCheckpoint=/usr/local/rocketmq/store/checkpoint
 #abort 檔案儲存路徑
 abortFile=/usr/local/rocketmq/store/abort
 #限制的訊息大小
 maxMessageSize=65536
#flushCommitLogLeastPages=4
 #flushConsumeQueueLeastPages=2
 #flushCommitLogThoroughInterval=10000
 #flushConsumeQueueThoroughInterval=60000

#Broker 的角色
 #- ASYNC_MASTER  非同步複製Master
 #- SYNC_MASTER  同步雙寫Master
 #- SLAVE
 brokerRole=SLAVE
#刷盤方式 #- ASYNC_FLUSH  非同步刷盤 #- SYNC_FLUSH  同步刷盤
 flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量 #sendMessageThreadPoolNums=128 #拉訊息執行緒池數量 #pullMessageThreadPoolNums=128
7、修改四臺機子日誌配置檔案： 
mkdir -p /usr/local/rocketmq/logs
cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml
8、修改四臺機子啟動引數： 
vim /usr/local/rocketmq/bin/runbroker.sh

vim /usr/local/rocketmq/bin/runserver.

9、啟動四臺機子nameserver： 
cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &
10、分別啟動四臺機子broker: 主機1： 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties  >/dev/null 2>&1 &
主機2： 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b.properties  >/dev/null 2>&1 &
從機1： 
hup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties  >/dev/null 2>&1 &
從機2： 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties  >/dev/null 2>&1 &
11、部署控制檯並訪問顯示如下成功：













相關推薦

RocketMQ雙Master+雙Slave叢集環境搭建

準備四臺機子：主機1192.168.2.3主機2192.168.2.4從機1192.168.2.5從機2192.168.2.61、關閉四臺機子的防火牆：service iptables stop2、

Redis單機和叢集環境搭建

一、安裝單機版redis  1、可以自己去官網下載，當然也可以用課程提供的壓縮包 # yum install gcc # wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz # tar -xzvf tcl8.6.1-s

Hyperledger Fabric v1.1 單機多節點叢集環境搭建

Fabric v1.1 1.環境安裝 1).安裝go 1.9.x 下載地址 http://golang.org/dl/ 配置環境 #go的安裝根目錄 export GOROOT=/usr/local/go #go的工作路徑根目錄 export GOPAT

zookeeper-3.4.10分散式叢集環境搭建

初始叢集狀態 機器名 IP 作用 linux系統 master 192.168.218.133   CentOS-6.9-x86_64-bin-D

centos7中kafka叢集環境搭建部署

一、前期準備 1、下載kafka安裝包 官方下載地址：http://kafka.apache.org/downloads.html kafka_2.11-2.0.0.tgz   2、準備好要安裝的叢集環境的目標機器(3檯安裝centos7系統) 3、將下載好的壓縮包

MongoDB分散式叢集環境搭建

第一節分片的概念 　　分片（sharding）是指根據片鍵，將資料進行拆分，使其落在不同的機器上的過程。如此一來，不需要功能，配置等強大的機器，也能儲存大資料量，處理更高的負載。   第二節分片的原理和思想 　　MongoDB分片的基本思想就是將集合切分成小塊。這些塊分散到

Eureka高可用叢集環境搭建

註冊中心叢集 在微服務中，註冊中心非常核心，可以實現服務治理，如果一旦註冊出現故障的時候，可能會導致整個微服務無法訪問，在這時候就需要對註冊中心實現高可用叢集模式。 Eureka叢集相當簡單：相互註冊 Eureka高可用實際上將自己作為服務向其他服務註冊中心註冊自己，這樣就可以形成一組相互註冊的服務註冊

kafaka叢集環境搭建

伺服器環境準備 使用vm虛擬三個linux主機：192.168.128.139，192.168.128.140，192.168.128.141 Zookeeper叢集環境搭建 1.每臺伺服器節點上安裝jdk1.8環境  使用java version命令測試 2

Windows 下 Redis 叢集環境搭建

Redis 可以支援單機多例項方式的部署，這樣為叢集環境的搭建提供了方便。 Windows下搭建Redis叢集需要的環境準備包括，Redis，Ruby語言執行環境,Redis的Ruby驅動redis-xxxx.gem、建立Redis叢集的工具redis-trib.rb。 1. Redis Wind

Elasticsearch叢集環境搭建

單節點環境搭建參考：https://blog.csdn.net/qq_38270106/article/details/84309702 建議先搭建好單伺服器，再clone兩個伺服器 環境準備：三臺虛擬機器 node-1----------192.168.128.156

Spark叢集環境搭建

本文作者：賀聖軍，叩丁狼高階講師。原創文章，轉載請註明出處。 現在在大資料的生態圈的離線的處理主要使用的是MapReduce和Hive技術,但是對於實時處理分析,越來越多的企業使用的Spark作為企業的記憶體處理計算框架,相對於MapReduce,Spark主要有以下一些特

Spark叢集環境搭建中所遇到的問題

1. 安裝好JDK後，檢視java版本出現以下提示：         解決方法：在終端輸入以下兩條命令：       (1)  sudo update-alternatives --install /usr/bin/javac javac /home/fhb/spark

大資料作業（一）基於docker的hadoop叢集環境搭建

主要是根據廈門大學資料庫實驗室的教程(http://dblab.xmu.edu.cn/blog/1233/)在Ubuntu16.04環境下進行搭建。 一、安裝docker(Docker CE) 根據docker官網教程(https://docs.docker.

Hadoop叢集環境搭建（雲伺服器，虛擬機器都適用）

為了配置方便，為每臺電腦配置一個主機名： vim /etc/hostname 各個節點中，主節點寫入：master ， 其他從節點寫入：slavexx 如果這樣修改不能生效，則繼續如下操作 vim /etc/cloud/cloud.cfg 做preserve_hostname: true 修改 reb

hadoop叢集環境搭建之偽分散式叢集環境搭建

搭建叢集的模式有三種 1.偽分散式：在一臺伺服器上，啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的) 2.完全分散式：在多臺伺服器上，每臺伺服器啟動不同角色的程序，多臺伺服器構成叢集 node01:NameNode node02:

Hadoop最完整分散式叢集環境搭建

分散式環境搭建之環境介紹 之前我們已經介紹瞭如何在單機上搭建偽分散式的Hadoop環境，而在實際情況中，肯定都是多機器多節點的分散式叢集環境，所以本文將簡單介紹一下如何在多臺機器上搭建Hadoop的分散式環境。 我這裡準備了三臺機器，IP地址如下： 192.16

zookeeper叢集環境搭建（純zookeeper）

1.首先在三臺機子上放上zookeeper的解壓包，解壓。  然後的話zookeeper是依賴於jdk的，那麼也應該安裝jdk，這裡不詳細說明了。   mv zookeeper-3.4.5 zookeeper  修改節點為zookeeper  

zookeeper叢集環境搭建（使用kafka的zookeeper搭建zk叢集）

---恢復內容開始--- 使用kafka的zookeeper來搞叢集的話和單純用zk的其實差不了多少。 0.說在前頭，搭建kafka叢集之前請把每個伺服器的jdk搞起來。 1.安裝kafka wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafk

Hive叢集環境搭建之本地模式（多使用者模式）

搭建叢集的模式有三種 1. 原始碼包下載及解壓 2. 叢集的環境 … Active NameNode Standby NameNode DataNode Zookeeper ZKFC JournalNode ResourceManage NodeM

hadoop分散式叢集環境搭建

參考 http://www.cnblogs.com/zhijianliutang/p/5736103.html   1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2