ROCKET-MQ-1簡介

阿新 • • 發佈：2020-09-20

1. MQ介紹

1.1 為什麼要用MQ

訊息佇列是一種“先進先出”的資料結構

其應用場景主要包含以下3個方面

應用解耦

系統的耦合性越高，容錯性就越低。以電商應用為例，使用者建立訂單後，如果耦合呼叫庫存系統、物流系統、支付系統，任何一個子系統出了故障或者因為升級等原因暫時不可用，都會造成下單操作異常，影響使用者使用體驗。

使用訊息佇列解耦合，系統的耦合性就會提高了。比如物流系統發生故障，需要幾分鐘才能來修復，在這段時間內，物流系統要處理的資料被快取到訊息佇列中，使用者的下單操作正常完成。當物流系統回覆後，補充處理存在訊息佇列中的訂單訊息即可，終端系統感知不到物流系統發生過幾分鐘故障。

流量削峰

應用系統如果遇到系統請求流量的瞬間猛增，有可能會將系統壓垮。有了訊息佇列可以將大量請求快取起來，分散到很長一段時間處理，這樣可以大大提到系統的穩定性和使用者體驗。

一般情況，為了保證系統的穩定性，如果系統負載超過閾值，就會阻止使用者請求，這會影響使用者體驗，而如果使用訊息佇列將請求快取起來，等待系統處理完畢後通知使用者下單完畢，這樣總不能下單體驗要好。

處於經濟考量目的：

業務系統正常時段的QPS如果是1000，流量最高峰是10000，為了應對流量高峰配置高效能的伺服器顯然不划算，這時可以使用訊息佇列對峰值流量削峰

資料分發

通過訊息佇列可以讓資料在多個系統更加之間進行流通。資料的產生方不需要關心誰來使用資料，只需要將資料傳送到訊息佇列，資料使用方直接在訊息佇列中直接獲取資料即可

1.2 MQ的優點和缺點

優點：解耦、削峰、資料分發

缺點包含以下幾點：

系統可用性降低

系統引入的外部依賴越多，系統穩定性越差。一旦MQ宕機，就會對業務造成影響。

如何保證MQ的高可用？
系統複雜度提高

MQ的加入大大增加了系統的複雜度，以前系統間是同步的遠端呼叫，現在是通過MQ進行非同步呼叫。

如何保證訊息沒有被重複消費？怎麼處理訊息丟失情況？那麼保證訊息傳遞的順序性？
一致性問題

A系統處理完業務，通過MQ給B、C、D三個系統發訊息資料，如果B系統、C系統處理成功，D系統處理失敗。

如何保證訊息資料處理的一致性？

1.3 各種MQ產品的比較

常見的MQ產品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。

2. RocketMQ快速入門

RocketMQ是阿里巴巴2016年MQ中介軟體，使用Java語言開發，在阿里內部，RocketMQ承接了例如“雙11”等高併發場景的訊息流轉，能夠處理萬億級別的訊息。

2.1 準備工作

2.1.1 下載RocketMQ

RocketMQ最新版本：4.5.1

下載地址

2.2.2 環境要求

Linux64位系統
JDK1.8(64位)
原始碼安裝需要安裝Maven 3.2.x

2.2 安裝RocketMQ

2.2.1 安裝步驟

本教程以二進位制包方式安裝

解壓安裝包
進入安裝目錄

2.2.2 目錄介紹

bin：啟動指令碼，包括shell指令碼和CMD指令碼
conf：例項配置檔案，包括broker配置檔案、logback配置檔案等
lib：依賴jar包，包括Netty、commons-lang、FastJSON等

2.3 啟動RocketMQ

啟動NameServer

# 1.啟動NameServer
nohup sh bin/mqnamesrv &
# 2.檢視啟動日誌
tail -f ~/logs/rocketmqlogs/namesrv.log

啟動Broker

# 1.啟動Broker
nohup sh bin/mqbroker -n localhost:9876 &
# 2.檢視啟動日誌
tail -f ~/logs/rocketmqlogs/broker.log

問題描述：

RocketMQ預設的虛擬機器記憶體較大，啟動Broker如果因為記憶體不足失敗，需要編輯如下兩個配置檔案，修改JVM記憶體大小

# 編輯runbroker.sh和runserver.sh修改預設JVM大小
vi runbroker.sh
vi runserver.sh

參考設定：

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

2.4 測試RocketMQ

2.4.1 傳送訊息

# 1.設定環境變數
export NAMESRV_ADDR=localhost:9876
# 2.使用安裝包的Demo傳送訊息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

2.4.2 接收訊息

# 1.設定環境變數
export NAMESRV_ADDR=localhost:9876
# 2.接收訊息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

2.5 關閉RocketMQ

# 1.關閉NameServer
sh bin/mqshutdown namesrv
# 2.關閉Broker
sh bin/mqshutdown broker

3. RocketMQ叢集搭建

3.1 各角色介紹

Producer：訊息的傳送者；舉例：發信者
Consumer：訊息接收者；舉例：收信者
Broker：暫存和傳輸訊息；舉例：郵局
NameServer：管理Broker；舉例：各個郵局的管理機構
Topic：區分訊息的種類；一個傳送者可以傳送訊息給一個或者多個Topic；一個訊息的接收者可以訂閱一個或者多個Topic訊息
Message Queue：相當於是Topic的分割槽；用於並行傳送和接收訊息

3.2 叢集搭建方式

3.2.1 叢集特點

NameServer是一個幾乎無狀態節點，可叢集部署，節點之間無任何資訊同步。
Broker部署相對複雜，Broker分為Master與Slave，一個Master可以對應多個Slave，但是一個Slave只能對應一個Master，Master與Slave的對應關係通過指定相同的BrokerName，不同的BrokerId來定義，BrokerId為0表示Master，非0表示Slave。Master也可以部署多個。每個Broker與NameServer叢集中的所有節點建立長連線，定時註冊Topic資訊到所有NameServer。
Producer與NameServer叢集中的其中一個節點（隨機選擇）建立長連線，定期從NameServer取Topic路由資訊，並向提供Topic服務的Master建立長連線，且定時向Master傳送心跳。Producer完全無狀態，可叢集部署。
Consumer與NameServer叢集中的其中一個節點（隨機選擇）建立長連線，定期從NameServer取Topic路由資訊，並向提供Topic服務的Master、Slave建立長連線，且定時向Master、Slave傳送心跳。Consumer既可以從Master訂閱訊息，也可以從Slave訂閱訊息，訂閱規則由Broker配置決定。

3.2.3 叢集模式

1）單Master模式

這種方式風險較大，一旦Broker重啟或者宕機時，會導致整個服務不可用。不建議線上環境使用,可以用於本地測試。

2）多Master模式

一個叢集無Slave，全是Master，例如2個Master或者3個Master，這種模式的優缺點如下：

優點：配置簡單，單個Master宕機或重啟維護對應用無影響，在磁碟配置為RAID10時，即使機器宕機不可恢復情況下，由於RAID10磁碟非常可靠，訊息也不會丟（非同步刷盤丟失少量訊息，同步刷盤一條不丟），效能最高；
缺點：單臺機器宕機期間，這臺機器上未被消費的訊息在機器恢復之前不可訂閱，訊息實時性會受到影響。

3）多Master多Slave模式（非同步）

每個Master配置一個Slave，有多對Master-Slave，HA採用非同步複製方式，主備有短暫訊息延遲（毫秒級），這種模式的優缺點如下：

優點：即使磁碟損壞，訊息丟失的非常少，且訊息實時性不會受影響，同時Master宕機後，消費者仍然可以從Slave消費，而且此過程對應用透明，不需要人工干預，效能同多Master模式幾乎一樣；
缺點：Master宕機，磁碟損壞情況下會丟失少量訊息。

4）多Master多Slave模式（同步）

每個Master配置一個Slave，有多對Master-Slave，HA採用同步雙寫方式，即只有主備都寫成功，才嚮應用返回成功，這種模式的優缺點如下：

優點：資料與服務都無單點故障，Master宕機情況下，訊息無延遲，服務可用性與資料可用性都非常高；
缺點：效能比非同步複製模式略低（大約低10%左右），傳送單個訊息的RT會略高，且目前版本在主節點宕機後，備機不能自動切換為主機。

3.3 雙主雙從叢集搭建

3.3.1 總體架構

訊息高可用採用2m-2s（同步雙寫）方式

3.3.2 叢集工作流程

啟動NameServer，NameServer起來後監聽埠，等待Broker、Producer、Consumer連上來，相當於一個路由控制中心。
Broker啟動，跟所有的NameServer保持長連線，定時傳送心跳包。心跳包中包含當前Broker資訊(IP+埠等)以及儲存所有Topic資訊。註冊成功後，NameServer叢集中就有Topic跟Broker的對映關係。
收發訊息前，先建立Topic，建立Topic時需要指定該Topic要儲存在哪些Broker上，也可以在傳送訊息時自動建立Topic。
Producer傳送訊息，啟動時先跟NameServer叢集中的其中一臺建立長連線，並從NameServer中獲取當前傳送的Topic存在哪些Broker上，輪詢從佇列列表中選擇一個佇列，然後與佇列所在的Broker建立長連線從而向Broker發訊息。
Consumer跟Producer類似，跟其中一臺NameServer建立長連線，獲取當前訂閱Topic存在哪些Broker上，然後直接跟Broker建立連線通道，開始消費訊息。

4. 訊息傳送樣例

匯入MQ客戶端依賴

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.4.0</version>
</dependency>

訊息傳送者步驟分析r

1.建立訊息生產者producer，並制定生產者組名
2.指定Nameserver地址
3.啟動producer
4.建立訊息物件，指定主題Topic、Tag和訊息體
5.傳送訊息
6.關閉生產者producer

訊息消費者步驟分析

1.建立消費者Consumer，制定消費者組名
2.指定Nameserver地址
3.訂閱主題Topic和Tag
4.設定回撥函式，處理訊息
5.啟動消費者consumer

4.1 基本樣例

4.1.1 訊息傳送

1）傳送同步訊息

這種可靠性同步地傳送方式使用的比較廣泛，比如：重要的訊息通知，簡訊通知。

public class SyncProducer {
	public static void main(String[] args) throws Exception {
    	// 例項化訊息生產者Producer
        DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
    	// 設定NameServer的地址
    	producer.setNamesrvAddr("localhost:9876");
    	// 啟動Producer例項
        producer.start();
    	for (int i = 0; i < 100; i++) {
    	    // 建立訊息，並指定Topic，Tag和訊息體
    	    Message msg = new Message("TopicTest" /* Topic */,
        	"TagA" /* Tag */,
        	("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
        	);
        	// 傳送訊息到一個Broker
            SendResult sendResult = producer.send(msg);
            // 通過sendResult返回訊息是否成功送達
            System.out.printf("%s%n", sendResult);
    	}
    	// 如果不再發送訊息，關閉Producer例項。
    	producer.shutdown();
    }
}

2）傳送非同步訊息

非同步訊息通常用在對響應時間敏感的業務場景，即傳送端不能容忍長時間地等待Broker的響應。

public class AsyncProducer {
	public static void main(String[] args) throws Exception {
    	// 例項化訊息生產者Producer
        DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
    	// 設定NameServer的地址
        producer.setNamesrvAddr("localhost:9876");
    	// 啟動Producer例項
        producer.start();
        producer.setRetryTimesWhenSendAsyncFailed(0);
    	for (int i = 0; i < 100; i++) {
                final int index = i;
            	// 建立訊息，並指定Topic，Tag和訊息體
                Message msg = new Message("TopicTest",
                    "TagA",
                    "OrderID188",
                    "Hello world".getBytes(RemotingHelper.DEFAULT_CHARSET));
                // SendCallback接收非同步返回結果的回撥
                producer.send(msg, new SendCallback() {
                    @Override
                    public void onSuccess(SendResult sendResult) {
                        System.out.printf("%-10d OK %s %n", index,
                            sendResult.getMsgId());
                    }
                    @Override
                    public void onException(Throwable e) {
      	              System.out.printf("%-10d Exception %s %n", index, e);
      	              e.printStackTrace();
                    }
            	});
    	}
    	// 如果不再發送訊息，關閉Producer例項。
    	producer.shutdown();
    }
}

3）單向傳送訊息

這種方式主要用在不特別關心傳送結果的場景，例如日誌傳送。

public class OnewayProducer {
	public static void main(String[] args) throws Exception{
    	// 例項化訊息生產者Producer
        DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
    	// 設定NameServer的地址
        producer.setNamesrvAddr("localhost:9876");
    	// 啟動Producer例項
        producer.start();
    	for (int i = 0; i < 100; i++) {
        	// 建立訊息，並指定Topic，Tag和訊息體
        	Message msg = new Message("TopicTest" /* Topic */,
                "TagA" /* Tag */,
                ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
        	);
        	// 傳送單向訊息，沒有任何返回結果
        	producer.sendOneway(msg);

    	}
    	// 如果不再發送訊息，關閉Producer例項。
    	producer.shutdown();
    }
}

4.1.2 消費訊息

1）負載均衡模式

消費者採用負載均衡方式消費訊息，多個消費者共同消費佇列訊息，每個消費者處理的訊息不同

public static void main(String[] args) throws Exception {
    // 例項化訊息生產者,指定組名
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
    // 指定Namesrv地址資訊.
    consumer.setNamesrvAddr("localhost:9876");
    // 訂閱Topic
    consumer.subscribe("Test", "*");
    //負載均衡模式消費
    consumer.setMessageModel(MessageModel.CLUSTERING);
    // 註冊回撥函式，處理訊息
    consumer.registerMessageListener(new MessageListenerConcurrently() {
        @Override
        public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                        ConsumeConcurrentlyContext context) {
            System.out.printf("%s Receive New Messages: %s %n", 
                              Thread.currentThread().getName(), msgs);
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
    });
    //啟動訊息者
    consumer.start();
    System.out.printf("Consumer Started.%n");
}

2）廣播模式

消費者採用廣播的方式消費訊息，每個消費者消費的訊息都是相同的

public static void main(String[] args) throws Exception {
    // 例項化訊息生產者,指定組名
    DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
    // 指定Namesrv地址資訊.
    consumer.setNamesrvAddr("localhost:9876");
    // 訂閱Topic
    consumer.subscribe("Test", "*");
    //廣播模式消費
    consumer.setMessageModel(MessageModel.BROADCASTING);
    // 註冊回撥函式，處理訊息
    consumer.registerMessageListener(new MessageListenerConcurrently() {
        @Override
        public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                        ConsumeConcurrentlyContext context) {
            System.out.printf("%s Receive New Messages: %s %n", 
                              Thread.currentThread().getName(), msgs);
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
    });
    //啟動訊息者
    consumer.start();
    System.out.printf("Consumer Started.%n");
}

4.2 順序訊息

訊息有序指的是可以按照訊息的傳送順序來消費(FIFO)。RocketMQ可以嚴格的保證訊息有序，可以分為分割槽有序或者全域性有序。

順序消費的原理解析，在預設的情況下訊息傳送會採取Round Robin輪詢方式把訊息傳送到不同的queue(分割槽佇列)；而消費訊息的時候從多個queue上拉取訊息，這種情況傳送和消費是不能保證順序。但是如果控制傳送的順序訊息只依次傳送到同一個queue中，消費的時候只從這個queue上依次拉取，則就保證了順序。當傳送和消費參與的queue只有一個，則是全域性有序；如果多個queue參與，則為分割槽有序，即相對每個queue，訊息都是有序的。

下面用訂單進行分割槽有序的示例。一個訂單的順序流程是：建立、付款、推送、完成。訂單號相同的訊息會被先後傳送到同一個佇列中，消費時，同一個OrderId獲取到的肯定是同一個佇列。

4.2.1 順序訊息生產

/**
* Producer，傳送順序訊息
*/
public class Producer {

   public static void main(String[] args) throws Exception {
       DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");

       producer.setNamesrvAddr("127.0.0.1:9876");

       producer.start();

       String[] tags = new String[]{"TagA", "TagC", "TagD"};

       // 訂單列表
       List<OrderStep> orderList = new Producer().buildOrders();

       Date date = new Date();
       SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
       String dateStr = sdf.format(date);
       for (int i = 0; i < 10; i++) {
           // 加個時間字首
           String body = dateStr + " Hello RocketMQ " + orderList.get(i);
           Message msg = new Message("TopicTest", tags[i % tags.length], "KEY" + i, body.getBytes());

           SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
               @Override
               public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
                   Long id = (Long) arg;  //根據訂單id選擇傳送queue
                   long index = id % mqs.size();
                   return mqs.get((int) index);
               }
           }, orderList.get(i).getOrderId());//訂單id

           System.out.println(String.format("SendResult status:%s, queueId:%d, body:%s",
               sendResult.getSendStatus(),
               sendResult.getMessageQueue().getQueueId(),
               body));
       }

       producer.shutdown();
   }

   /**
    * 訂單的步驟
    */
   private static class OrderStep {
       private long orderId;
       private String desc;

       public long getOrderId() {
           return orderId;
       }

       public void setOrderId(long orderId) {
           this.orderId = orderId;
       }

       public String getDesc() {
           return desc;
       }

       public void setDesc(String desc) {
           this.desc = desc;
       }

       @Override
       public String toString() {
           return "OrderStep{" +
               "orderId=" + orderId +
               ", desc='" + desc + '\'' +
               '}';
       }
   }

   /**
    * 生成模擬訂單資料
    */
   private List<OrderStep> buildOrders() {
       List<OrderStep> orderList = new ArrayList<OrderStep>();

       OrderStep orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111039L);
       orderDemo.setDesc("建立");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111065L);
       orderDemo.setDesc("建立");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111039L);
       orderDemo.setDesc("付款");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103117235L);
       orderDemo.setDesc("建立");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111065L);
       orderDemo.setDesc("付款");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103117235L);
       orderDemo.setDesc("付款");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111065L);
       orderDemo.setDesc("完成");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111039L);
       orderDemo.setDesc("推送");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103117235L);
       orderDemo.setDesc("完成");
       orderList.add(orderDemo);

       orderDemo = new OrderStep();
       orderDemo.setOrderId(15103111039L);
       orderDemo.setDesc("完成");
       orderList.add(orderDemo);

       return orderList;
   }
}

4.2.2 順序消費訊息

/**
* 順序訊息消費，帶事務方式（應用可控制Offset什麼時候提交）
*/
public class ConsumerInOrder {

   public static void main(String[] args) throws Exception {
       DefaultMQPushConsumer consumer = new 
           DefaultMQPushConsumer("please_rename_unique_group_name_3");
       consumer.setNamesrvAddr("127.0.0.1:9876");
       /**
        * 設定Consumer第一次啟動是從佇列頭部開始消費還是佇列尾部開始消費<br>
        * 如果非第一次啟動，那麼按照上次消費的位置繼續消費
        */
       consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);

       consumer.subscribe("TopicTest", "TagA || TagC || TagD");

       consumer.registerMessageListener(new MessageListenerOrderly() {

           Random random = new Random();

           @Override
           public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
               context.setAutoCommit(true);
               for (MessageExt msg : msgs) {
                   // 可以看到每個queue有唯一的consume執行緒來消費, 訂單對每個queue(分割槽)有序
                   System.out.println("consumeThread=" + Thread.currentThread().getName() + "queueId=" + msg.getQueueId() + ", content:" + new String(msg.getBody()));
               }

               try {
                   //模擬業務邏輯處理中...
                   TimeUnit.SECONDS.sleep(random.nextInt(10));
               } catch (Exception e) {
                   e.printStackTrace();
               }
               return ConsumeOrderlyStatus.SUCCESS;
           }
       });

       consumer.start();

       System.out.println("Consumer Started.");
   }
}

4.3 延時訊息

比如電商裡，提交了一個訂單就可以傳送一個延時訊息，1h後去檢查這個訂單的狀態，如果還是未付款就取消訂單釋放庫存。

4.3.1 啟動訊息消費者

public class ScheduledMessageConsumer {
   public static void main(String[] args) throws Exception {
      // 例項化消費者
      DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampleConsumer");
      // 訂閱Topics
      consumer.subscribe("TestTopic", "*");
      // 註冊訊息監聽者
      consumer.registerMessageListener(new MessageListenerConcurrently() {
          @Override
          public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> messages, ConsumeConcurrentlyContext context) {
              for (MessageExt message : messages) {
                  // Print approximate delay time period
                  System.out.println("Receive message[msgId=" + message.getMsgId() + "] " + (System.currentTimeMillis() - message.getStoreTimestamp()) + "ms later");
              }
              return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
          }
      });
      // 啟動消費者
      consumer.start();
  }
}

4.3.2 傳送延時訊息

public class ScheduledMessageProducer {
   public static void main(String[] args) throws Exception {
      // 例項化一個生產者來產生延時訊息
      DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
      // 啟動生產者
      producer.start();
      int totalMessagesToSend = 100;
      for (int i = 0; i < totalMessagesToSend; i++) {
          Message message = new Message("TestTopic", ("Hello scheduled message " + i).getBytes());
          // 設定延時等級3,這個訊息將在10s之後傳送(現在只支援固定的幾個時間,詳看delayTimeLevel)
          message.setDelayTimeLevel(3);
          // 傳送訊息
          producer.send(message);
      }
       // 關閉生產者
      producer.shutdown();
  }
}

4.3.3 驗證

您將會看到訊息的消費比儲存時間晚10秒

4.3.4 使用限制

// org/apache/rocketmq/store/config/MessageStoreConfig.java
private String messageDelayLevel = "1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h";

現在RocketMq並不支援任意時間的延時，需要設定幾個固定的延時等級，從1s到2h分別對應著等級1到18

4.4 批量訊息

批量傳送訊息能顯著提高傳遞小訊息的效能。限制是這些批量訊息應該有相同的topic，相同的waitStoreMsgOK，而且不能是延時訊息。此外，這一批訊息的總大小不應超過4MB。

4.4.1 傳送批量訊息

如果您每次只發送不超過4MB的訊息，則很容易使用批處理，樣例如下：

String topic = "BatchTest";
List<Message> messages = new ArrayList<>();
messages.add(new Message(topic, "TagA", "OrderID001", "Hello world 0".getBytes()));
messages.add(new Message(topic, "TagA", "OrderID002", "Hello world 1".getBytes()));
messages.add(new Message(topic, "TagA", "OrderID003", "Hello world 2".getBytes()));
try {
   producer.send(messages);
} catch (Exception e) {
   e.printStackTrace();
   //處理error
}

如果訊息的總長度可能大於4MB時，這時候最好把訊息進行分割

public class ListSplitter implements Iterator<List<Message>> {
   private final int SIZE_LIMIT = 1024 * 1024 * 4;
   private final List<Message> messages;
   private int currIndex;
   public ListSplitter(List<Message> messages) {
           this.messages = messages;
   }
    @Override 
    public boolean hasNext() {
       return currIndex < messages.size();
   }
   	@Override 
    public List<Message> next() {
       int nextIndex = currIndex;
       int totalSize = 0;
       for (; nextIndex < messages.size(); nextIndex++) {
           Message message = messages.get(nextIndex);
           int tmpSize = message.getTopic().length() + message.getBody().length;
           Map<String, String> properties = message.getProperties();
           for (Map.Entry<String, String> entry : properties.entrySet()) {
               tmpSize += entry.getKey().length() + entry.getValue().length();
           }
           tmpSize = tmpSize + 20; // 增加日誌的開銷20位元組
           if (tmpSize > SIZE_LIMIT) {
               //單個訊息超過了最大的限制
               //忽略,否則會阻塞分裂的程序
               if (nextIndex - currIndex == 0) {
                  //假如下一個子列表沒有元素,則新增這個子列表然後退出迴圈,否則只是退出迴圈
                  nextIndex++;
               }
               break;
           }
           if (tmpSize + totalSize > SIZE_LIMIT) {
               break;
           } else {
               totalSize += tmpSize;
           }

       }
       List<Message> subList = messages.subList(currIndex, nextIndex);
       currIndex = nextIndex;
       return subList;
   }
}
//把大的訊息分裂成若干個小的訊息
ListSplitter splitter = new ListSplitter(messages);
while (splitter.hasNext()) {
  try {
      List<Message>  listItem = splitter.next();
      producer.send(listItem);
  } catch (Exception e) {
      e.printStackTrace();
      //處理error
  }
}

4.5 過濾訊息

在大多數情況下，TAG是一個簡單而有用的設計，其可以來選擇您想要的訊息。例如：

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("CID_EXAMPLE");
consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");

消費者將接收包含TAGA或TAGB或TAGC的訊息。但是限制是一個訊息只能有一個標籤，這對於複雜的場景可能不起作用。在這種情況下，可以使用SQL表示式篩選訊息。SQL特性可以通過傳送訊息時的屬性來進行計算。在RocketMQ定義的語法下，可以實現一些簡單的邏輯。下面是一個例子：

------------
| message  |
|----------|  a > 5 AND b = 'abc'
| a = 10   |  --------------------> Gotten
| b = 'abc'|
| c = true |
------------
------------
| message  |
|----------|   a > 5 AND b = 'abc'
| a = 1    |  --------------------> Missed
| b = 'abc'|
| c = true |
------------

4.5.1 SQL基本語法

RocketMQ只定義了一些基本語法來支援這個特性。你也可以很容易地擴充套件它。

數值比較，比如：>，>=，<，<=，BETWEEN，=；
字元比較，比如：=，<>，IN；
IS NULL或者IS NOT NULL；
邏輯符號AND，OR，NOT；

常量支援型別為：

數值，比如：123，3.1415；
字元，比如：'abc'，必須用單引號包裹起來；
NULL，特殊的常量
布林值，TRUE或FALSE

只有使用push模式的消費者才能用使用SQL92標準的sql語句，介面如下：

public void subscribe(finalString topic, final MessageSelector messageSelector)

4.5.2 訊息生產者

傳送訊息時，你能通過putUserProperty來設定訊息的屬性

DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
producer.start();
Message msg = new Message("TopicTest",
   tag,
   ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
);
// 設定一些屬性
msg.putUserProperty("a", String.valueOf(i));
SendResult sendResult = producer.send(msg);

producer.shutdown();

4.5.3 訊息消費者

用MessageSelector.bySql來使用sql篩選訊息

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");
// 只有訂閱的訊息有這個屬性a, a >=0 and a <= 3
consumer.subscribe("TopicTest", MessageSelector.bySql("a between 0 and 3");
consumer.registerMessageListener(new MessageListenerConcurrently() {
   @Override
   public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
       return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
   }
});
consumer.start();

4.6 事務訊息

4.6.1 流程分析

上圖說明了事務訊息的大致方案，其中分為兩個流程：正常事務訊息的傳送及提交、事務訊息的補償流程。

1）事務訊息傳送及提交

(1) 傳送訊息（half訊息）。

(2) 服務端響應訊息寫入結果。

(3) 根據傳送結果執行本地事務（如果寫入失敗，此時half訊息對業務不可見，本地邏輯不執行）。

(4) 根據本地事務狀態執行Commit或者Rollback（Commit操作生成訊息索引，訊息對消費者可見）

2）事務補償

(1) 對沒有Commit/Rollback的事務訊息（pending狀態的訊息），從服務端發起一次“回查”

(2) Producer收到回查訊息，檢查回查訊息對應的本地事務的狀態

(3) 根據本地事務狀態，重新Commit或者Rollback

其中，補償階段用於解決訊息Commit或者Rollback發生超時或者失敗的情況。

3）事務訊息狀態

事務訊息共有三種狀態，提交狀態、回滾狀態、中間狀態：

TransactionStatus.CommitTransaction: 提交事務，它允許消費者消費此訊息。
TransactionStatus.RollbackTransaction: 回滾事務，它代表該訊息將被刪除，不允許被消費。
TransactionStatus.Unknown: 中間狀態，它代表需要檢查訊息佇列來確定狀態。

4.6.1 傳送事務訊息

1) 建立事務性生產者

使用TransactionMQProducer類建立生產者，並指定唯一的ProducerGroup，就可以設定自定義執行緒池來處理這些檢查請求。執行本地事務後、需要根據執行結果對訊息佇列進行回覆。回傳的事務狀態在請參考前一節。

public class Producer {
    public static void main(String[] args) throws MQClientException, InterruptedException {
        //建立事務監聽器
        TransactionListener transactionListener = new TransactionListenerImpl();
        //建立訊息生產者
        TransactionMQProducer producer = new TransactionMQProducer("group6");
        producer.setNamesrvAddr("192.168.25.135:9876;192.168.25.138:9876");
        //生產者這是監聽器
        producer.setTransactionListener(transactionListener);
        //啟動訊息生產者
        producer.start();
        String[] tags = new String[]{"TagA", "TagB", "TagC"};
        for (int i = 0; i < 3; i++) {
            try {
                Message msg = new Message("TransactionTopic", tags[i % tags.length], "KEY" + i,
                        ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.sendMessageInTransaction(msg, null);
                System.out.printf("%s%n", sendResult);
                TimeUnit.SECONDS.sleep(1);
            } catch (MQClientException | UnsupportedEncodingException e) {
                e.printStackTrace();
            }
        }
        //producer.shutdown();
    }
}

2）實現事務的監聽介面

當傳送半訊息成功時，我們使用executeLocalTransaction方法來執行本地事務。它返回前一節中提到的三個事務狀態之一。checkLocalTranscation方法用於檢查本地事務狀態，並回應訊息佇列的檢查請求。它也是返回前一節中提到的三個事務狀態之一。

public class TransactionListenerImpl implements TransactionListener {

    @Override
    public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
        System.out.println("執行本地事務");
        if (StringUtils.equals("TagA", msg.getTags())) {
            return LocalTransactionState.COMMIT_MESSAGE;
        } else if (StringUtils.equals("TagB", msg.getTags())) {
            return LocalTransactionState.ROLLBACK_MESSAGE;
        } else {
            return LocalTransactionState.UNKNOW;
        }

    }

    @Override
    public LocalTransactionState checkLocalTransaction(MessageExt msg) {
        System.out.println("MQ檢查訊息Tag【"+msg.getTags()+"】的本地事務執行結果");
        return LocalTransactionState.COMMIT_MESSAGE;
    }
}

4.6.2 使用限制

事務訊息不支援延時訊息和批量訊息。
為了避免單個訊息被檢查太多次而導致半佇列訊息累積，我們預設將單個訊息的檢查次數限制為 15 次，但是使用者可以通過 Broker 配置檔案的transactionCheckMax引數來修改此限制。如果已經檢查某條訊息超過 N 次的話（ N =transactionCheckMax）則 Broker 將丟棄此訊息，並在預設情況下同時列印錯誤日誌。使用者可以通過重寫AbstractTransactionCheckListener類來修改這個行為。
事務訊息將在 Broker 配置檔案中的引數 transactionMsgTimeout 這樣的特定時間長度之後被檢查。當傳送事務訊息時，使用者還可以通過設定使用者屬性 CHECK_IMMUNITY_TIME_IN_SECONDS 來改變這個限制，該引數優先於transactionMsgTimeout引數。
事務性訊息可能不止一次被檢查或消費。
提交給使用者的目標主題訊息可能會失敗，目前這依日誌的記錄而定。它的高可用性通過 RocketMQ 本身的高可用性機制來保證，如果希望確保事務訊息不丟失、並且事務完整性得到保證，建議使用同步的雙重寫入機制。
事務訊息的生產者 ID 不能與其他型別訊息的生產者 ID 共享。與其他型別的訊息不同，事務訊息允許反向查詢、MQ伺服器能通過它們的生產者 ID 查詢到消費者。