我們知道 RocketMQ 是一款高效能、高可靠的分散式訊息中介軟體，高效能和高可靠是很難兼得的。因為要保證高可靠，那麼資料就必須持久化到磁碟上，將資料持久化到磁碟，那麼可能就不能保證高效能了。

RocketMQ 在相容這兩方面做的不錯，先從磁碟說起，現代的磁碟都是高效能的，寫速度並不一定比網路的資料傳輸速度慢。比如 SSD 固態硬碟在 M.2 NVMe協議下，順序寫的速度可以達到 1500 MB/s，就算是普通磁碟，如果效能比較高的話，順序寫的速度可以達到 450MB/s~600MB/s。

在順序寫的情況下是這速度，但是不人為控制的話，磁碟採用的是隨機寫，在隨機寫的情況下，磁碟的寫入速度急速下降，磁碟的隨機寫速度可能只有幾百KB/s，這遠遠要慢於網路傳輸速度，所以它並不能滿足高效能的要求。

RocketMQ 在持久化的設計上，採取的是訊息順序寫、隨機讀的策略，利用磁碟順序寫的速度，讓磁碟的寫速度不會成為系統的瓶頸。並且採用 MMPP 這種“零拷貝”技術，提高訊息存檔和網路傳送的速度。極力滿足 RocketMQ 的高效能、高可靠要求。

上述從硬體的角度聊聊了高效能的保證，這些咱也不懂，還是來看看 RocketMQ 持久化機制的架構圖吧。

在 RocketMQ 持久化機制中，涉及到了三個角色：

• CommitLog：訊息真正的儲存檔案，所有訊息都儲存在 CommitLog 檔案中。
• ConsumeQueue：訊息消費邏輯佇列，類似資料庫的索引檔案。
• IndexFile：訊息索引檔案，主要儲存訊息 Key 與 offset 對應關係，提升訊息檢索速度。

咱們逐一聊聊吧，CommitLog 檔案是存放訊息資料的地方，所有的訊息都將存入到 CommitLog 檔案中。生產者將訊息傳送到 RocketMQ 的 Broker 後，Broker 伺服器會將訊息順序寫入到 CommitLog 檔案中，這也就是 RocketMQ 高效能的原因，因為我們知道磁碟順序寫特別快，RocketMQ 充分利用了這一點，極大的提高訊息寫入效率。

但是消費者消費訊息的時候，可能就會遇到麻煩，每一個消費者只能訂閱一個主題，消費者關心的是訂閱主題下的所有訊息，但是同一主題的訊息在 CommitLog 檔案中可能是不連續的，那麼消費者消費訊息的時候，需要將 CommitLog 檔案載入到記憶體中遍歷查詢訂閱主題下的訊息，頻繁的 IO 操作，效能就會急速下降。

為了解決這個問題，RocketMQ 引入了 Consumequeue 檔案。Consumequeue 檔案可以看作是索引檔案，類似於 MySQL 中的二級索引。在存放了同一主題下的所有訊息，消費者消費的時候只需要去對應的 Consumequeue 組中取訊息即可。Consumequeue 檔案不會儲存訊息的全量資訊，瞭解 MySQL 索引的話，應該好理解這裡，具體儲存的欄位，我在上圖已經標註。這樣做可以帶來以下兩個好處：

• 由於 Consumequeue 檔案內容小，可以儘可能的保證 Consumequeue 檔案全部讀入到記憶體，提高消費效率。
• Consumequeue 檔案也是會持久化的，不存全量資訊可以節約磁碟空間。

IndexFile 是 RocketMQ 為訊息訂閱構建的索引檔案，用來提高根據主題與訊息佇列檢索訊息的速度，這個就不細說了。

RocketMQ 持久化機制原理差不多就這些了，接下來聊一聊訊息資料刷盤吧。

因為作業系統 PAGECACHE 的存在，PageCache是OS對檔案的快取，用於加速對檔案的讀寫，所以一般都是先寫入到 PAGECACHE 中，然後再持久化到磁碟上。我們熟悉的其他元件，MySQL、Redis 等都是如此。RocketMQ 也不列外。

在 RocketMQ 中提供了同步刷盤和非同步刷盤兩種刷盤方式，可以通過 Broker 配置文中中的 flushDiskType 引數來設定（SYNC_FLUSH、ASYNC_FLUSH）。

非同步刷盤方式（預設）：訊息寫入到記憶體的 PAGECACHE中，就立刻給客戶端返回寫操作成功，當 PAGECACHE 中的訊息積累到一定的量時，觸發一次寫操作，將 PAGECACHE 中的訊息寫入到磁碟中。這種方式吞吐量大，效能高，但是 PAGECACHE 中的資料可能丟失，不能保證資料絕對的安全。

同步刷盤方式：訊息寫入記憶體的 PAGECACHE 後，立刻通知刷盤執行緒刷盤，然後等待刷盤完成，刷盤執行緒執行完成後喚醒等待的執行緒，返回訊息寫成功的狀態。這種方式可以保證資料絕對安全，但是吞吐量不大。

關於RocketMQ 持久化機制的分享就這些，感謝您的閱讀，希望這篇文章對您的學習或者工作有一點幫助。有收穫的話，也可以幫忙推薦給其他的小夥伴，讓更多的人受益，萬分感謝。

歡迎關注公眾號【網際網路平頭哥】。這裡有職場感悟、Java 技術，雖然不高大上，但通俗易懂。今天最好的是明天最低的要求，願你我共同進步。

相關推薦