一、RocketMQ基礎知識介紹
Apache RocketMQ是阿里開源的一款高效能、高吞吐量、佇列模型的訊息中介軟體的分散式訊息中介軟體。

上圖是一個典型的訊息中介軟體收發訊息的模型，RocketMQ也是這樣的設計，簡單說來
RocketMQ具有以下特點：
1）是一個佇列模型的訊息中介軟體，具有高效能、高可靠、高實時、分散式特點。
2）Producer、Consumer、佇列都可以分散式。
3）Producer向一些佇列輪流傳送訊息，佇列集合稱為Topic，Consumer如果做廣播消費，則一個consumer例項消費這個Topic對應的所有佇列，如果做叢集消費，則多個Consumer例項平均消費這個topic對應的佇列集合。
4）支援嚴格的訊息順序；
5）提供豐富的訊息拉取模式
6）高效的訂閱者水平擴充套件能力
7）實時的訊息訂閱機制
8）億級訊息堆積能力
9）較少的依賴
10）支援Topic與Queue兩種模式；
11）同時支援Push與Pull方式消費訊息；

訊息佇列的應用場景
1）非同步處理
將不是必須的業務邏輯，進行非同步處理，比如註冊之後簡訊、郵箱的傳送

2）應用解耦
訂單系統：使用者下單後，訂單系統完成持久化處理，將訊息寫入訊息佇列，返回使用者訂單下單成功。
庫存系統：訂閱下單的訊息，採用拉/推的方式，獲取下單資訊，庫存系統根據下單資訊，進行庫存操作。
假如：在下單時庫存系統不能正常使用。也不影響正常下單，因為下單後，訂單系統寫入訊息佇列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦。

3）流量削鋒，也是訊息佇列中的常用場景，一般在秒殺或團搶活動中使用廣泛。
應用場景：秒殺活動，一般會因為流量過大，導致流量暴增，應用掛掉。為解決這個問題，一般需要在應用前端加入訊息佇列。
a）可以控制活動的人數；
b）可以緩解短時間內高流量壓垮應用；
c）使用者的請求，伺服器接收後，首先寫入訊息佇列。假如訊息佇列長度超過最大數量，則直接拋棄使用者請求或跳轉到錯誤頁面；
d）秒殺業務根據訊息佇列中的請求資訊，再做後續處理。

4）日誌處理

5）訊息通訊
訊息通訊是指，訊息佇列一般都內建了高效的通訊機制，因此也可以用在純的訊息通訊。比如實現點對點訊息佇列，或者聊天室等。

6）效能
RocketMQ單機也可以支援億級的訊息堆積能力。單機寫入TPS單例項約7萬條/秒，單機部署3個Broker，可以跑到最高12萬條/秒，訊息大小10個位元組

RocketMQ 物理部署結構

如上圖所示， RocketMQ的部署結構有以下特點：
1）Name Server 可叢集部署，節點之間無任何資訊同步。
2）Broker(訊息中轉角色，負責儲存訊息，轉發訊息) 部署相對複雜，Broker 分為Master 與Slave，一個Master 可以對應多個Slave，但是一個Slave 只能對應一個Master，Master 與Slave 的對應關係通過指定相同的BrokerName，不同的BrokerId來定 義，BrokerId為0 表示Master，非0 表示Slave

。Master 也可以部署多個。
3）Producer 與Name Server 叢集中的其中一個節點（隨機選擇）建立長連線，定期從Name Server 取Topic 路由資訊，並向提供Topic 服務的Master 建立長連線，且定時向Master 傳送心跳。Producer 完全無狀態，可叢集部署。
4）Consumer 與Name Server 叢集中的其中一個節點（隨機選擇）建立長連線，定期從Name Server 取Topic 路由資訊，並向提供Topic 服務的Master、Slave 建立長連線，且定時向Master、Slave 傳送心跳。Consumer既可以從Master 訂閱訊息，也可以從Slave 訂閱訊息，訂閱規則由Broker 配置決定。

Broker：訊息中轉角色，負責儲存訊息，轉發訊息
Broker叢集有多種配置方式：
1）單Master
優點：除了配置簡單沒什麼優點
缺點：不可靠，該機器重啟或宕機，將導致整個服務不可用
2）多Master
優點：配置簡單，效能最高
缺點：可能會有少量訊息丟失（配置相關），單臺機器重啟或宕機期間，該機器下未被消費的訊息在機器恢復前不可訂閱，影響訊息實時性
3）多Master多Slave，每個Master配一個Slave，有多對Master-Slave，叢集採用非同步複製方式，主備有短暫訊息延遲，毫秒級
優點：效能同多Master幾乎一樣，實時性高，主備間切換對應用透明，不需人工干預
缺點：Master宕機或磁碟損壞時會有少量訊息丟失
4）多Master多Slave，每個Master配一個Slave，有多對Master-Slave，叢集採用同步雙寫方式，主備都寫成功，嚮應用返回成功
優點：服務可用性與資料可用性非常高
缺點：效能比非同步叢集略低，當前版本主宕備不能自動切換為主

Master和Slave的配置檔案參考conf目錄下的配置檔案
Master與Slave通過指定相同的brokerName引數來配對，Master的BrokerId必須是0，Slave的BrokerId必須是大於0的數。
一個Master下面可以掛載多個Slave，同一Master下的多個Slave通過指定不同的BrokerId來區分。

二、RocketMQ叢集部署記錄

部署需求（如果是兩臺機器，可以做一主一從，即broker-a主節點和nameserver在一臺機器，broker-a-s從節點在另一臺機器），本案例是5臺機器：
準備5臺虛擬機器，其中4臺作為rocektmq broker（雙master 雙slave，同步雙寫，非同步刷盤），另1臺用作rocektmq的console（rocketmq監控平臺）和nameserver。
0）基礎資訊

1）rocektmq broker 雙master雙slave部署

[[email protected] software]# pwd
/data/software
[[email protected] software]# unzip rocketmq3.2.6.zip
[[email protected] software]# ln -s /data/software/alibaba-rocketmq3.2.6 /data/rocketmq
建立儲存路徑
[[email protected] software]# mkdir -p /data/rocketmq/store
[[email protected] software]# mkdir -p /data/rocketmq/store/commitlog
[[email protected] software]# mkdir -p /data/rocketmq/store/consumequeue
[[email protected] software]# mkdir -p /data/rocketmq/store/index
[[email protected] software]# ls /data/rocketmq/
benchmark bin conf issues lib LICENSE.txt readme.txt store test wiki
[[email protected] software]# ls /data/rocketmq/store/
commitlog consumequeue index
---------------------------------------------------------------------------------
2）配置rocektmq broker （四個節點機器都要操作）
mq-master01節點配置/data/rocketmq/conf/2m-2s-sync/broker-a.properties
[[email protected] ~]# vim /data/rocketmq/conf/2m-2s-sync/broker-a.properties
#所屬叢集名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣 例如：在a.properties 檔案中寫 broker-a 在b.properties 檔案中寫 broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，這裡nameserver是單臺，如果nameserver是多臺叢集的話，就用分號分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.10.207:9876;
#在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數。由於是4個broker節點，所以設定為4
defaultTopicQueueNums=4
#是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨 4點
deleteWhen=04
#檔案保留時間，預設 48 小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/data/software/rocketmq/store
#commitLog 儲存路徑
storePathCommitLog=/data/software/rocketmq/store/commitlog
#消費佇列儲存路徑儲存路徑
storePathConsumeQueue=/data/software/rocketmq/store/consumequeue
#訊息索引儲存路徑
storePathIndex=/data/software/rocketmq/store/index
#checkpoint 檔案儲存路徑
storeCheckpoint=/data/software/rocketmq/store/checkpoint
#abort 檔案儲存路徑
abortFile=/data/software/rocketmq/store/abort
#限制的訊息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=MASTER #要配置為MASTER或SLAVE的角色
#刷盤方式
#- ASYNC_FLUSH 非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128
mq-master02節點配置的是/data/rocketmq/conf/2m-2s-sync/broker-b.properties #就下面三行配置不一樣，其他配置行都一樣！
[[email protected] software]# vim /data/rocketmq/conf/2m-2s-sync/broker-b.properties
......
brokerName=broker-b
brokerId=0
brokerRole=MASTER
mq-slave01節點配置的是/data/rocketmq/conf/2m-2s-sync/broker-a-s.properties
[[email protected] software]# vim /data/rocketmq/conf/2m-2s-sync/broker-a-s.properties
......
brokerName=broker-a #注意這一行的名稱要和master保持一致
brokerId=1 #這個ID要跟master的不一致！
brokerRole=SLAVE #要配置為從
mq-slave01節點配置的是/data/rocketmq/conf/2m-2s-sync/broker-b-s.properties
[[email protected] software]# vim /data/rocketmq/conf/2m-2s-sync/broker-b-s.properties
......
brokerName=broker-b #注意這一行的名稱要和master的保持一致
brokerId=1 #這個ID要跟master的不一致
brokerRole=SLAVE #要配置為從
---------------------------------------------------------------------------------
3）修改日誌檔案（四個節點機器都要操作）
[[email protected] ~]# mkdir -p /data/rocketmq/logs
[[email protected] ~]# cd /data/rocketmq/conf

[[email protected] ~]# cd /data/software/
[[email protected] ~]# ls
rocketmq_namesrv.zip
[[email protected] software]# unzip rocketmq_namesrv.zip
[[email protected] software]# ln -s /data/software/rocketmq_namesrv /data/rocketmq_namesrv
[[email protected] software]# vim /data/rocketmq_namesrv/conf/namesrv.properties #該檔案只有下面一行內容
listenPort=9876

溫馨提示：
啟動順序：先啟動NameServer，再啟動BrokerServer（啟動BrokerServer之前先關閉防火牆）
停止順序：先停止BrokerServer，再停止NameServer
首先在5個節點機器上設定下rocketmq啟動的java路徑，否則會報錯：
ERROR: Please set the JAVA_HOME variable in your environment, We need java(x64)! !!
（可以使用find / -name java找出java的安裝路徑，取出JAVA_HOME路徑）
[[email protected] bin]# vim /data/rocketmq/bin/runbroker.sh
.....
JAVA_HOME=/usr/java/jdk1.8.0_131 #加入這一行
1）首先在192.168.10.207節點機器上啟動NameServer
NameServer預設有一個啟動指令碼startNameServer.sh，修改如下：
[[email protected] ~]# cat /data/rocketmq_namesrv/startNameServer.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
nohup sh /data/rocketmq_namesrv/alibaba-rocketmq/bin/mqnamesrv -c /data/rocketmq_namesrv/conf/namesrv.properties > ./nohup.out 2>&1 &
[[email protected] ~]# chmod 755 /data/rocketmq_namesrv/alibaba-rocketmq/bin/*
[[email protected] ~]# sh /data/rocketmq_namesrv/startNameServer.sh
[[email protected] ~]# lsof -i:9876
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 32336 root 49u IPv6 24559963 0t0 TCP *:sd (LISTEN)
2）接著在四個broker節點機器上啟動BrokerServer
[[email protected] ~]# cd /data/rocketmq/bin
[[email protected] bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 &
[[email protected] bin]# ps -ef|grep rocketmq
root 9978 9167 0 17:51 pts/0 00:00:00 sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties
root 9982 9978 0 17:51 pts/0 00:00:00 sh /data/rocketmq/bin/runbroker.sh com.alibaba.rocketmq.broker.BrokerStartup -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties
root 9985 9982 4 17:51 pts/0 00:00:03 /usr/java/jdk1.8.0_131/bin/java -server -Xms4g -Xmx4g -Xmn2g -XX:PermSize=128m -XX:MaxPermSize=320m -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:+DisableExplicitGC -verbose:gc -Xloggc:/root/rmq_bk_gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:-OmitStackTraceInFastThrow -Djava.ext.dirs=/data/rocketmq/bin/../lib -cp .:/data/rocketmq/bin/../conf:.:/lib/dt.jar:/lib/tools.jar com.alibaba.rocketmq.broker.BrokerStartup -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties
root 10039 9167 0 17:52 pts/0 00:00:00 grep rocketmq
[[email protected] bin]# lsof -i:10911 #注意只有master節點的10911端口才能起來，slave節點的10911埠不會起來。
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 9985 root 68u IPv6 7969295 0t0 TCP *:10911 (LISTEN)
[[email protected] bin]# jps
9985 BrokerStartup
10044 Jps
[[email protected] bin]# tail -f -n 500 /data/rocketmq/logs/rocketmqlogs/broker.log
2018-05-09 17:59:57 INFO main - rocketmqHome=/data/rocketmq
2018-05-09 17:59:57 INFO main - namesrvAddr=192.168.10.207:9876;
2018-05-09 17:59:57 INFO main - brokerIP1=192.168.10.202
2018-05-09 17:59:57 INFO main - brokerIP2=192.168.10.202
2018-05-09 17:59:57 INFO main - brokerName=broker-a
........
2018-05-09 19:06:04 INFO main - flushDelayOffsetInterval=10000
2018-05-09 19:06:04 INFO main - cleanFileForciblyEnable=true
2018-05-09 19:06:04 INFO main - user specfied name server address: 192.168.10.207:9876;
2018-05-09 19:06:05 INFO main - load /data/software/rocketmq/store/config/consumerOffset.json OK
2018-05-09 19:06:05 INFO main - load /data/software/rocketmq/store/config/delayOffset.json OK
2018-05-09 19:06:05 INFO PullRequestHoldService - PullRequestHoldService service started
2018-05-09 19:06:05 INFO main - register broker to name server 192.168.10.207:9876 OK
2018-05-09 19:06:05 INFO main - The broker[broker-a, 192.168.10.202:10911] boot success. and name server is 192.168.10.207:9876;
2018-05-09 19:06:15 INFO BrokerControllerScheduledThread1 - slave fall behind master, how much, 0 bytes
2018-05-09 19:06:15 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.10.207:9876 OK
2018-05-09 19:06:45 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.10.207:9876 OK
其他三個節點啟動的時候，指定的配置檔案分別是broker-b.properties、broker-a-s.properties、broker-b-s.properties。
[[email protected] bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-b.properties >/dev/null 2>&1 &
[[email protected] bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 &
[[email protected] bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-b-s.properties >/dev/null 2>&1 &
-----------------------------------------------------------------
停止服務
先停止BrokerServer，再停止NameServer
[[email protected] ~]# cd /data/rocketmq/bin
[[email protected] bin]# sh mqshutdown broker
The mqbroker(10495) is running...
Send shutdown request to mqbroker(10495) OK
[[email protected] bin]# lsof -i:10911
[[email protected] bin]#
[[email protected] ~]# cd /data/rocketmq_namesrv/alibaba-rocketmq/bin/
[[email protected] bin]# sh mqshutdown namesrv
The mqnamesrv(32336) is running...
Send shutdown request to mqnamesrv(32336) OK
[[email protected] bin]# lsof -i:9876

[[email protected] ~]# cd /opt
[[email protected] opt]# git clone https://github.com/apache/rocketmq-externals.git
做軟連結
[[email protected] opt]# ln -s /opt/rocketmq-externals /data/
[[email protected] opt]# ll /data/rocketmq-externals
lrwxrwxrwx. 1 root root 23 May 9 14:10 /data/rocketmq-externals -> /opt/rocketmq-externals
修改配置檔案
[[email protected] ~]# vim /data/rocketmq-externals/rocketmq-console/src/main/resources/application.properties
server.contextPath=
server.port=8080 #預設訪問埠是8080
#spring.application.index=true
spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.config=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876
rocketmq.config.namesrvAddr=192.168.10.207:9876 #如果nameserver是多臺叢集機器，則後面就配置多個ip+port，即"rocketmq.config.namesrvAddr=ip1:port;ip2:port"
#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true
rocketmq.config.isVIPChannel=false #注意這個引數，是否設定為false或true取決於rocketmq的版本號
#rocketmq-console's data path:dashboard/monitor
rocketmq.config.dataPath=/tmp/rocketmq-console/data
#set it false if you don't want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true
------------------------------------------------------------------------------------------
溫馨提示：
由於我這裡使用的rocketmq是3.2.6版本，低於3.5.8版本，所以上面的rocketmq.config.isVIPChannel應設定為false，預設為true！
Rocket如果開啟了VIP通道，VIP通道埠為10911-2=10909。若Rocket伺服器未啟動埠10909，則報connect to <：10909> failed。
------------------------------------------------------------------------------------------
安裝Maven的安裝
[[email protected] ~]# cd /data/software/
[[email protected] software]# wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
[[email protected] software]# tar -zvxf apache-maven-3.3.9-bin.tar.gz
[[email protected] software]# mv apache-maven-3.3.9 /usr/local/maven
[[email protected] software]# vim /etc/profile
........
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$MAVEN_HOME/bin
[[email protected] software]# source /etc/profile
[[email protected] software]# mvn --version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /usr/local/maven
Java version: 1.8.0_131, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_131/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-696.el6.x86_64", arch: "amd64", family: "unix"
接著對rocketmq-console進行編譯打包執行（mvn的編輯過程需要等待一段時間）
[[email protected] ~]# cd /data/rocketmq-externals/rocketmq-console/
[[email protected] rocketmq-console]# mvn clean package -Dmaven.test.skip=true
編譯成功後在target下找到檔案：rocketmq-console-ng-1.0.0.jar
[[email protected] rocketmq-console]# ls
doc LICENSE NOTICE pom.xml README.md src style target
[[email protected] rocketmq-console]# ls target/
checkstyle-cachefile classes maven-status rocketmq-console-ng-1.0.0-sources.jar
checkstyle-checker.xml generated-sources rocketmq-console-ng-1.0.0.jar
checkstyle-result.xml maven-archiver rocketmq-console-ng-1.0.0.jar.original
啟動rocketmq-console，執行命令：
[[email protected] rocketmq-console]# nohup java -jar target/rocketmq-console-ng-1.0.0.jar >/dev/null 2>&1 &
----------------------------------------------------------------------------------------------------
也可以直接跟NameServer的ip和埠進行啟動
# java -jar rocketmq-console-ng-1.0.0.jar --server.port=8080 --rocketmq.config.namesrvAddr=192.168.10.207:9876
如果NameServer有多臺叢集機器的話，後面就多加
# java -jar rocketmq-console-ng-1.0.0.jar --server.port=8080 --rocketmq.config.namesrvAddr=192.168.10.207:9876;192.168.10.208:9876
這裡需要注意兩個引數：
--server.port=8080 指定console訪問埠，預設的就是8080，也可以指定為其他埠
--rocketmq.config.namesrvAddr 指定nameserver的地址
----------------------------------------------------------------------------------------------------
rocketmq-console的預設埠是8080
[[email protected] rocketmq-console]# lsof -i:8080
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 5574 confluence 81u IPv6 24674767 0t0 TCP mq-console-nameserver:44888->mq-console-nameserver:webcache (CLOSE_WAIT)
java 5649 jira 157u IPv6 879851 0t0 TCP *:webcache (LISTEN)
java 5649 jira 249u IPv6 4166247 0t0 TCP mq-console-nameserver:46886->mq-console-nameserver:webcache (CLOSE_WAIT)
java 5649 jira 262u IPv6 24669705 0t0 TCP mq-console-nameserver:43464->mq-console-nameserver:webcache (CLOSE_WAIT)
最後再瀏覽器裡輸入：http://192.168.10.207:8080，即可訪問rockermq的web管理介面了

1、下載rocket-mq
sh mqnamesrv

1、下載rocketmq-console
2、java -jar rocketmq-console-ng-1.0.0.jar --server.port=8080 -rocketmq.config.namesrvAddr=192.168.95.150:9876

1、下載 rocketmq3.2.6
2、修改bin目錄下面的runbroker.sh 修改其JVM
3、nohup sh mqbroker -n "192.168.95.150:9876" &

  sh mqadmin clusterList -n "192.168.95.150:9876"可以檢視該server下面的broker