2. 程式人生 > >（三）RocketMQ叢集部署實踐

（三）RocketMQ叢集部署實踐

阿新 • • 發佈：2018-12-25

全篇參照–《MyRocketMQ叢集部署實戰-雙master-雙slave-同步雙寫-非同步刷盤（7臺機器） - tantexian的部落格空間 - 開源中國社群》

本文是筆者在參考上文實踐過程中的理解和擴充

符號“【】”中內容、附註5，6以及FAQ中內容均筆者所注

一、基礎環境配置：

以下所有機器均為16G記憶體。【記憶體配置可修改，128M以上，筆者測試機器記憶體平均為4G】

二、叢集部署圖

（四NameServer、雙Mastere雙Slave、同步雙寫、非同步刷盤）：

)

三、對centos7作業系統引數調優：

【該步驟未進行，為生產環境下的優化操作，官網寫到該步驟一個系統只可優化一次】

執行下述shell指令碼：

#!/bin/sh

# Execute Only Once

#當前程式執行環境使用者名稱
USERNAME=root
#需要修改IO模式磁碟碟符
DISKNAME=sda

echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
echo 'vm.min_free_kbytes=5000000' >> /etc/sysctl.conf
echo 'vm.drop_caches=1' >> /etc/sysctl.conf
echo 'vm.zone_reclaim_mode=0' >> /etc/sysctl.conf
echo
 
 'vm.max_map_count=655360' >> /etc/sysctl.conf
echo 'vm.dirty_background_ratio=50' >> /etc/sysctl.conf
echo 'vm.dirty_ratio=50' >> /etc/sysctl.conf
echo 'vm.page-cluster=3' >> /etc/sysctl.conf
echo 'vm.dirty_writeback_centisecs=360000' >> /etc/sysctl.conf
echo 'vm.swappiness=10' >> /etc/sysctl.conf
cat /etc/sysctl.conf
sysctl -p

echo
 
 'ulimit -n 655350' >> /etc/profile
echo "$USERNAME hard nofile 655350" >> /etc/security/limits.conf

#DISK=`df -k | sort -n -r -k 2 | awk -F/ 'NR==1 {gsub(/[0-9].*/,"",$3); print $3}'`
#[ "$DISK" = 'cciss' ] && DISK='cciss!c0d0'
echo 'deadline' > /sys/block/$DISKNAME/queue/scheduler


echo "---------------------------------------------------------------"
sysctl vm.overcommit_memory
sysctl vm.min_free_kbytes
sysctl vm.drop_caches
sysctl vm.zone_reclaim_mode
sysctl vm.max_map_count
sysctl vm.dirty_background_ratio
sysctl vm.dirty_ratio
sysctl vm.page-cluster
sysctl vm.dirty_writeback_centisecs
sysctl vm.swappiness

su - $USERNAME -c 'ulimit -n'
cat /sys/block/$DISKNAME/queue/scheduler

四、下載原始碼及編譯（maven、git）：

1、安裝maven、git：

yum install -y maven git

2、下載原始碼：

git clone https://git.oschina.net/tantexian/MyRocketMQ.git

這裡寫圖片描述
【先在一個機子上安裝git、maven來編譯原始碼，jdk需要安裝在7臺機子上，上一篇文章有安裝的解疑】

3、編譯原始碼：

cd MyRocketMQ/
sh install.sh

這裡寫圖片描述

4、將編譯後的程式碼放置到自定義檔案目錄

（本次實驗中放置到/home目錄：）

這裡寫圖片描述

PS：此處需要將編譯後的MyRocketMQ-bin檔案分別scp或者rsync同步到其他所有機器上去：

rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.104:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.105:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.106:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.107:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.108:/home/MyRocketMQ-bin/
rsync -avzP /home/MyRocketMQ-bin/ root@10.128.31.109:/home/MyRocketMQ-bin/

這裡寫圖片描述

5、若不希望每次rsync輸入密碼驗證，可以配置互信ssh、scp、rsync登入傳輸（互通）：

1、在主節點node103上生成祕鑰（輸入命令後一直回車即可）：
ssh-keygen -t rsa       
2、分別將node103加入到node104、node105、node106、node107、node108、node109的authorized_keys中
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.104:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.105:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.106:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.107:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.108:/root/.ssh/authorized_keys
rsync -avzP /root/.ssh/id_rsa.pub root@10.128.31.109:/root/.ssh/authorized_key

注：這樣以後從node103往其他節點copy東西則不再需要輸入密碼驗證！！！

最好檢測其他所有node是否同步成功MyRocketMQ-bin：

這裡寫圖片描述

【rsync比scp傳檔案要慢一些】

五、配置JDK、Rocketmq等環境引數：

1、安裝jdk(依次在所有機器配置執行)：

雖然目前google已經嘗試使用openjdk代替oraclejdk：http://www.oschina.net/translate/openjdk-is-now-the-time）
還是建議使用oracle的jdk替換掉自帶的openjdk，若不想替換則無需下續步驟。
首先解除安裝自帶的openjdk：

【注：經測試openjdk也可使用，只要保證唯一jdk就行，否則會衝突】
這裡寫圖片描述

這裡寫圖片描述

rpm -e --nodeps java-1.7.0-openjdk-1.7.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

這裡寫圖片描述

ps：如果rpm -e 下載不成功，可以嘗試使用yum remove命令解除安裝。
然後再去oracle網站下載對應的jdk安裝：
若下載的為rpm包：則使用rpm -ivh xxx 進行安裝即可！！！

這裡寫圖片描述

2、配置jdk和Rocketmq環境變數：

vim /root/.bashrc  #在該檔案新增一下內容

# Set RocketMQ Environment
ROCKETMQ_HOME=/home/MyRocketMQ-bin # 此處為上述步驟中的maven編譯後文件目錄程式碼
ROCKETMQ_CLASSPATH=$ROCKETMQ_HOME/lib  # 此處為rocketmq執行所依賴的jar的classpath
ROCKETMQ_PATH=$ROCKETMQ_HOME/bin  # 此處為rocketmq執行bin目錄，加入到可執行命令
export ROCKETMQ_HOME  ROCKETMQ_CLASSPATH ROCKETMQ_PATH  # 設定環境變數
# 此處根據具體nameser叢集設定環境變數
export NAMESRV_ADDR='10.128.31.103:9876;10.128.31.104:9876;10.128.31.105:9876;10.128.31.106:9876'  

# Set Java Environment
JAVA_HOME=/usr/java/jdk1.7.0_79
JRE_HOME=/usr/java/jdk1.7.0_79/jre
PATH=.:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$ROCKETMQ_PATH  # 此處將ROCKETMQ_PATH
CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$ROCKETMQ_PATH
export JAVA_HOME JRE_HOME PATH CLASSPATH
  • PS：編輯完成執行 source/root/.bashrc或者 . /root/.bashrc 使之生效
  • 執行：chmod +x /home/MyRocketMQ-bin/bin/ *
  • 上述命令將/home/MyRocketMQ-bin/bin/目錄下的命令加入到PATH，即linux能直接執行。
  • 注意：同理需要將/root/.bashrc檔案使用rsync或者scp同步到其他所有節點上去！！！

【採用叢集模式時，啟動broker時，需要指定nameserver 地址集，即NAMESRV_ADDR，包含每一個nameserver叢集地址。因為nameserver之間不會進行資訊同步，均通過broker定時彙報保持各節點資訊“同步”】

六、叢集啟動：

1、將所有hostname配置到hosts:

vim /etc/hosts

這裡寫圖片描述

同步到所有機器！！！

先附上叢集部署規劃(更多詳細請自行參考前續叢集部署圖)：
NameServer叢集：node103/node104/node105/node106
Master1/Slave1 :  node103->node105
Master2/Slave2 :  node104->node106
Producer/Consumer叢集：node107/node108/node109

2、先啟動NameServer叢集節點

（node103/node104/node105/node106分別執行以下命令）：

nohup sh /home/MyRocketMQ-bin/bin/mqnamesrv &

3、再啟動Broker服務

【雙主雙備，修改相應的配置檔案引數】

node103：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master1.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master1.properties

這裡寫圖片描述

【同步複製方式下的主/備引數：SYNC_MASTER / SLAVE】

啟動node103 broker程序：
nohup sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master1.properties>bk.log
node104：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master2.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master2.properties

這裡寫圖片描述

啟動node104 broker程序：
nohup sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-master2.properties>bk.log
node105：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave1.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave1.properties

這裡寫圖片描述

啟動node105 broker程序：
sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave1.properties
node106：
cp /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-a.properties /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave2.properties
vim /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave2.properties

這裡寫圖片描述

啟動node106 broker程序：
sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/broker-slave2.properties

至此，NameServer/Broker叢集服務都已啟動

4、啟動Producer

node107 啟動生成者：
sh /home/MyRocketMQ-bin/bin/tools.sh com.alibaba.rocketmq.example.simple.Producer

這裡寫圖片描述

5、啟動Consumer

node108 啟動消費者：
sh /home/MyRocketMQ-bin/bin/tools.sh  com.alibaba.rocketmq.example.simple.PushConsumer

這裡寫圖片描述

PS：啟動順序總結：
1. 先啟動nameser叢集所有節點
2. 啟動Broker所有的master節點
3. 啟動Broker所有slave節點

七、rocket-web控制檯配置搭建：

1、下載tomcat至centos7：

這裡寫圖片描述

2、下載rocketmq-console專案，編譯回去war包

編譯之前需要修改config.properties檔案nameser為當前環境nameser叢集值：

這裡寫圖片描述

3、將編譯完成的war拷貝到tomcat對應的webapps目錄下：

這裡寫圖片描述

4、執行tomcat：

 sh /home/apache-tomcat-8.5.0/bin/catalina.sh run

這裡寫圖片描述

這裡寫圖片描述

5、頁面訪問web控制檯：

這裡寫圖片描述

【不方便編譯的話，直接下載war包copy到tomcat/webapps下，到自動生成的資料夾：rocketmq-console/WEB_INF/classes/config.properties 修改預設的127.0.0.1:9876 地址為你的nameserver地址，重啟tomcat服務，訪問http://tomcatIP地址:8080/rocketmq-console/cluster/list.do 就可以了】

以下為附加內容，作為參考：

附1、叢集操作命令彙總及自定義簡化命令：

1、啟動NameServer：

sh /home/MyRocketMQ-bin/bin/mqnamesrv

2、啟動Broker

如果將上述所有的配置檔案name統一修改為：2m2s-sync-borker.properties
則可以使用一下命令啟動各節點Broker：
sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/2m2s-sync-borker.properties

3、停止NameServer及Broker命令：

ps aux | grep NamesrvStartup | grep -v grep | awk '{print $2}' | xargs kill -9
ps aux | grep BrokerStartup | grep -v grep | awk '{print $2}' | xargs kill -9

4、自定義Alias命令（首先建立檔案目錄：mkdir /var/log/rocketmq）：

alias stna='nohup sh /home/MyRocketMQ-bin/bin/mqnamesrv > /var/log/rocketmq/mqnamesrv.log &'
alias stbr='nohup sh /home/MyRocketMQ-bin/bin/mqbroker -c /home/MyRocketMQ-bin/conf/2m-2s-sync/2m2s-sync-borker.properties > /var/log/rocketmq/broker.log &'
alias killna="ps aux | grep NamesrvStartup | grep -v grep | awk '{print $2}' | xargs kill -9"
alias stpr='sh /home/MyRocketMQ-bin/bin/tools.sh com.alibaba.rocketmq.example.simple.Producer'
alias stco='sh /home/MyRocketMQ-bin/bin/tools.sh com.alibaba.rocketmq.example.simple.PushConsumer'
alias killbr="ps aux | grep BrokerStartup | grep -v grep | awk '{print $2}' | xargs kill -9"

5、新增到.bashrc中：

vim /root/.bashrc

這裡寫圖片描述

6、使用簡短命令操作：

這裡寫圖片描述

附2：Broker相關配置引數：

這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

附3：NameserStartup殭屍程序解決辦法：

假若需要kill 掉程序，不能使用jps檢視程序來kill 否則會出現殭屍程序：

如果出現殭屍程序則需要使用ps -ahp 21514來查詢殭屍程序的父程序，接著再kill掉。

這裡寫圖片描述

【RocketMQ提供了“溫柔”關閉namesrv、broker服務的命令：mqshutdown】

附4：獲取當前broker全域性配置：

mqbroker -m（ mqbroker -p列印全部）

這裡寫圖片描述

附5：RocketMQ中Readme

這裡寫圖片描述

附6：rocket-console控制檯展示

【下圖為筆者測試截圖，具體資訊與上文資訊不符請見諒】

查詢指定topic的produceGroupName：

這裡寫圖片描述

查詢Topic情況

這裡寫圖片描述

查詢消費者組

這裡寫圖片描述

查詢某條訊息資訊

這裡寫圖片描述

FAQ

1、啟動Nameserver或broker服務提示記憶體不足

現象描述：
“VM warning: INFO: OS::commit_memory(0x00000006c0000000, 2147483648, 0) faild; error=’Cannot allocate memory’ (errno=12)”

FAQ-問題3報錯截圖

解決方案：修改/RocketMQ/devnev/bin/ 下的服務啟動指令碼 runserver.sh 、runbroker.sh 中對於記憶體的限制，​改成如下示例：

 JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=128m"

2、tomcat配置和啟動問題

tomcat啟動：進入安裝目錄

  • bin/startup.sh #啟動tomcat
  • bin/shutdown.sh #停止tomcat

或者直接輸入tomcat命令啟動（筆者yum安裝的tomcat7.04）

tomcat start(stop)

tomcat啟動後，仍無法訪問的問題可以參考幾點：

  • 埠監聽未新增
  • 埠被防火牆阻攔，關閉防火牆
  • 如果是用yum安裝的tomcat，能夠正常啟動，但是無法訪問ip:8080。經筆者測試，是由於yum安裝的tomcat缺少ROOT等檔案，無法訪問ip:8080成功，但是將rocket-console部署到webapps中，是可以正常訪問到的。

3、如何自定義Producer、Consume內容進行訊息收發測試？

問題描述：如何自定義Producer、Consumer的程式碼執行，比如修改Producer的topic，傳送條數，Consumer的Group name等資訊

解讀：目前Producer、Consumer的啟動是通過tool.sh進行啟動，其呼叫的是已經封裝好的jar包，所以無法直接修改Producer的程式碼進行測試。

解決辦法：可通過編寫demo專案，匯入RocketMQ的依賴包，執行測試程式Producer、Consumer進行測試，具體方案參看Myeclipse中搭建RocketMQ測試專案

相關推薦

（三）RocketMQ叢集部署實踐

全篇參照–《MyRocketMQ叢集部署實戰-雙master-雙slave-同步雙寫-非同步刷盤（7臺機器） - tantexian的部落格空間 - 開源中國社群》 本文是筆者在參考上文實踐過程中的理解和擴充 符號“【】”中

Kylin實踐（三）--跨叢集元資料遷移

Kylin跨叢集元資料遷移第一步：在待遷移叢集上備份元資料，命令如下：$KYLIN_HOME/bin/metastore.sh backup看到如下提示時即為備份成功：metadata store backed up to /opt/kylin/apache-kylin-2.

spring boot （三）： 熱部署

pom.xml文件 添加 gin 字節 loader 信息 dev spring tool 介紹了Spring boot實現熱部署的兩種方式，這兩種方法分別是使用 Spring Loaded和使用spring-boot-devtools進行熱部署。 熱部署是什麽

MySQL的JOIN（三）：JOIN優化實踐之內循環的次數

ted www str 連接 pri 記錄 font 語句 style 這篇博文講述如何優化內循環的次數。內循環的次數受驅動表的記錄數所影響，驅動表記錄數越多，內循環就越多，連接效率就越低下，所以盡量用小表驅動大表。先插入測試數據。 CREATE TABLE t1

SharePoint 2016 服務器部署（三）SharePoint Server 部署

b2c 防火 14. ado 數據庫 文檔 dfa PE 更新 數據庫部署完成後，部署SharePoint 服務器；將需要部署Sharepoint 服務器進行初始化（IP地址、計算機名稱、防火墻、Windows補丁更新等）。 部署SharePoint 服務器，需要運行先決

Flutter入門系列（三）---攜程Flutter實踐

文件來源：攜程技術中心 Flutter已經開源了三年，但是最近兩年才開始在開源社群活躍起來，尤其是最近還發布了Preview 1版本。作為可以實現一套程式碼同時在iOS、Android平臺上執行的又一個新的UI框架，Flutter提供給開發者的不僅僅是高速實現，還有高質量、流暢的UI。免費開源的

Hadoop部署（三）——CentOS 7部署Hadoop（單機版）

測試環境 Linux系統版本：CentOS 7 64位 Hadoop部署方式介紹 Hadoop部署方式分三種：Standalone Mode（單機模式）、Pseudo-Distributed Mode（偽分散式模式）、Fully Distributed Mode（全

Solr學習（三）SolrCloud叢集搭建與建立Collection

1、什麼是SolrCloud SolrCloud是Solr提供的分散式搜尋方案，當你需要大規模，容錯，分散式索引和檢索能力時使用 SolrCloud。當一個系統的索引資料量少的時候是不需要使用SolrCloud的，當索引量很大，搜尋請求併發很高，這時需要使用SolrCloud來滿足這些需求。

android 敏捷開發系列（三）——《環境部署》

書接上文，上次我們瞭解了敏捷開發的架構，但是利用我們普通的開發工具Eclipse的Ant構建是無法完成專案依賴等工作的，所以在開發之前我們需要準備好以下開發環境  maven + nexus + hudson + git 注：本文基本環境 服務端系統為ubuntu13.0

ElasticSearch教程（三）————ElasticSearch叢集搭建

公司一直在使用ES作為分散式的搜尋引擎，由於資料量的不斷升高，ES出現了效能瓶頸。公司決定進一步的優化ES配置，所以最近幾天在研究ES，最近會更新一系列ES的教程，希望大家持續關注。不多說了，Action。 前言 這篇博文我們親自搭建一個簡單的Elast

大資料 網際網路架構階段 Redis（三）redis叢集

Redis(三) redis叢集 一、 redis哨兵模式的缺點 問題一 ： 橫向擴充套件不方便 ， 一旦擴充套件 ， 無論程式碼結構多麼簡單， 都需要修改 問題二 ： 雜湊分散式演算法是ha

從零搭建生產Hadoop叢集（三）——CDH叢集搭建

一、概述 繼本系列前兩篇文章講到的離線安裝YUM源搭建及規劃與環境準備，本文開始講述CDH叢集的搭建步驟及注意要點。本文基於CentOS7進行部署，Cloudera Manager版本選擇5.8.1，CDH版本5.8.0。 二、硬體檢查與系統配置 1.硬體檢查

.Net架構設計設計（三）SqlServer叢集搭建

此處配置Windows2008 群集，將用於SQLserver 2008 雙機故障轉移群集，此處SQLserver 的群集基於Windows群集實現。Windows 2008 叢集更容易實現了，只要規劃好IP和磁碟分配，可一直按視窗介面進行配置。 伺服器要求： 本次測試要求3臺伺服器，1臺域控制器（Wind

Flink入門（三）——環境與部署

flink是一款開源的大資料流式處理框架，他可以同時批處理和流處理，具有容錯性、高吞吐、低延遲等優勢，本文簡述flink在windows和linux中安裝步驟，和示例程式的執行，包括本地除錯環境，叢集環境。另外介紹Flink的開發工程的構建。 首先要想執行Flink，我們需要下載並解壓Flink的二進位制

kubernetes學習筆記（三）--叢集部署

k8s學習筆記（三）叢集部署 （一）安裝前準備 由於我是在筆記本虛擬機器中安裝，筆記本效能有限，所以這裡就只安裝一個node和一個master。準備工作如下，部署好兩個虛擬機器，都安裝好centos7.4系統和docker。 – ip docker 系

Zookeeper叢集部署與配置（三）

在上一篇部落格中我們講解了《Zookeeper的單機配置》，此篇部落格將繼續介紹Zookeeper的叢集部署與配置。 環境 叢集配置的環境與單機配置的環境相同，唯一不同的就是叢集是在多臺伺服器之間配置，當然也有偽叢集的配置，也就是在同一臺機器上配置多臺服

ActiveMQ 自學（三） 叢集部署

其他配置屬性 下表列舉了在networkConnector標籤中還可以使用的屬性以及其意義。請特別注意其中的duplex屬性。如果只從字面意義理解該屬性， 則被稱為“雙工模式”；如果該屬性為true，當這個節點使用Network Bridge連線到其它目標節點後， 將強制目標也建立Network

linux(deepin15.4)下部署叢集RabbitMQ訊息佇列映象模式（三）

第三天 一、映象佇列策略 1、映象佇列可以防止主節點掛掉，整個佇列就癱瘓了。所以要想在主節點掛掉或故障也能正常應用，就要複製佇列內容到叢集裡的每個節點，須要建立映象佇列。 2、映象模式配置完成之後，會存在一個主節點和多個映象節點（或稱為熱備佇列，Slave

【Docker】基於例項專案的叢集部署（三）Linux基礎命令

Linux系統作為優秀的企業級伺服器系統，有多處優點： 可靠的安全性 良好的穩定性 完善的網路功能 多使用者任務 豐富的軟體支援 跨平臺的硬體支援 目錄結構 我們可以通過以下結構瞭解Linux的目錄作用： 命令操作

ZABBIX實踐（三） window下的Agent端部署以及服務端漢化

Zabbix 可以監控的物件非常多，支援的作業系統也很多，主流的linux和windows是平時接觸最多的系統，本節說明一下zabbix 在windows下如何安裝和配置。 1、目標      1）