RocketMQ(1)---架構原理及環境搭建
一、架構簡述
RocketMQ阿里開源的一個分散式訊息傳遞和流媒體平臺,具有低延遲,高效能和可靠性, 萬億級容量和靈活的可伸縮性。跟其它中介軟體相比,RocketMQ的特點是純JAVA實現,在發生宕機和其它故障時訊息丟失率更低。
它由四個部分組成:nameserver,broker,生產者和消費者。它們中的每一個都可以水平擴充套件,而沒有單個故障點。
Nameserver:提供輕量級的服務發現和路由。生產者和消費者通過nameserver獲取broker資訊。它幾乎是無狀態的,nameserver結點之間沒有任何的資料同步,broker註冊資訊時會註冊到每一個nameserver結點上面,所以每個nameserver節點都記錄了完整broker資訊,提供相應的讀寫服務,並支援快速的儲存擴充套件。
Broker:通過提供輕量級的topic和queue機制來儲存訊息。與nameserver中的每個節點建立長連線,定時註冊topic等資訊到nameserver上面。broker一般都是主從模式,因為訊息是真實儲存訊息的地方,避免一個結點掛了,導致這個節點資料全部丟失。
Producer:與nameserver叢集中的一個結點建立長連線,定期的拉取broker 的topic路由資訊,再將訊息傳送到對應broker的topic上面
Consumer:與nameserver叢集中的一個結點建立長連線,定期的拉取broker 的topic路由資訊,再去消費對應broker的topic資訊
二、環境搭建
1.官網下載:http://rocketmq.apache.org/release_notes/release-notes-4.7.0/
2.解壓 unzip rocketmq-all-4.7.0-bin-release.zip
3.修改啟動引數配置。預設的jvm引數記憶體設定特別大,如果自己機器不行的話需要手動改下bin目錄下的啟動引數檔案:runbroker.sh 和runserver.sh檔案 我的虛擬機器記憶體分配不大,改成256m 256m 128m
這是預設的
4.啟動nameserver: nohup sh mqnamesrv ‐n 192.168.0.67:9876 & (將日誌輸出當前目錄的nohub.out檔案,方便檢視啟動日誌,ip是當前機器的ip)
5.啟動broker:nohup sh mqbroker ‐n 192.168.0.67:9876 autoCreateTopicEnable=true & (autoCreateTopicEnable=true 自動建立topic,如果不設定true的話,生產者傳送訊息的時候如果沒有topic就會發送失敗,需要提前把topic建立好,設定true會在傳送時自動建立topic,192.168.0.67:9876 是name server)
也可以使用配置檔案啟動broker:nohup sh mqbroker ‐n 192.168.0.67:9876 ‐c conf/broker.conf &
簡單看下預設的配置檔案中的一些引數:
#叢集名字 brokerClusterName = DefaultCluster #broker名字,叢集中主從都要用這個名字,才會組成一個叢集 brokerName = broker-a #id為0的是master 非0的slava brokerId = 0 #訊息處理時間,凌晨4點 deleteWhen = 04 #訊息儲存時間預設48小時,48小時之後的凌晨4點就會清理 fileReservedTime = 48 #叢集主從之間資料同步方式 #非同步只需要發到master成功就返回客戶端段成功,效能高,但是如果master掛了 slave還未同步就會丟失訊息。根據自身業務場景選擇合適方式 brokerRole = ASYNC_MASTER #訊息刷盤機制,和主從資料同步類似,同步就是說需要寫進磁碟了才返回成功。非同步就是寫進記憶體了就返回成功,後面再去落盤。 flushDiskType = ASYNC_FLUSH #自動建立topic autoCreateTopicEnable=true
使用配置檔案啟動:nohup sh bin/mqbroker ‐n 192.168.0.67:9876 -c conf/broker.conf &
broker 192.168.0.67:10911關聯的nameserver是192.168.0.67:9876
至此一個單機的rocketMQ的環境就搭建好了 正常退出: sh mqshutdown broker 和 sh mqshutdown namesrv
測試下訊息傳送,使用rocketMQ提供的測試指令碼:
export NAMESRV_ADDR=192.168.0.67:9876
生產者指令碼
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer 消費者指令碼sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer 傳送訊息:
消費訊息: