轉載自  Redis 高可用特性之 “持久化” 詳解

在之前的文章中，介紹了《Redis的記憶體模型》，從這篇文章開始，將依次介紹 Redis 高可用相關的知識——持久化、複製(及讀寫分離)、哨兵、以及叢集。

本文將先說明上述幾種技術分別解決了 Redis 高可用的什麼問題，然後詳細介紹 Redis 的持久化技術，主要是 RDB 和 AOF 兩種持久化方案。

在介紹 RDB 和 AOF 方案時，不僅介紹它的作用及操作方法，同時介紹持久化實現的一些原理細節及需要注意的問題。最後，介紹在實際使用中，持久化方案的選擇，以及經常遇到的問題等。

下面分別從以下幾個方面講解：

• Redis 高可用概述

• Redis 持久化概述

• RDB 持久化

• AOF 持久化

• 方案選擇與常見問題

• 總結

Redis 高可用概述

在介紹 Redis 高可用之前，先說明一下在 Redis 的語境中高可用的含義。在 Web 伺服器中，高可用是指伺服器可以正常訪問的時間，衡量的標準是在多長時間內可以提供正常服務（99.9%、99.99%、99.999% 等等）。

但是在 Redis 語境中，高可用的含義似乎要寬泛一些，除了保證提供正常服務(如主從分離、快速容災技術)，還需要考慮資料容量的擴充套件、資料安全不會丟失等。

在 Redis 中，實現高可用的技術主要包括持久化、複製、哨兵和叢集，下面分別說明它們的作用，以及解決了什麼樣的問題：

• 持久化：持久化是最簡單的高可用方法(有時甚至不被歸為高可用的手段)，主要作用是資料備份，即將資料儲存在硬碟，保證資料不會因程序退出而丟失。

• 複製：複製是高可用 Redis 的基礎，哨兵和叢集都是在複製基礎上實現高可用的。複製主要實現了資料的多機備份，以及對於讀操作的負載均衡和簡單的故障恢復。

  缺陷：故障恢復無法自動化，寫操作無法負載均衡，儲存能力受到單機的限制。

• 哨兵：在複製的基礎上，哨兵實現了自動化的故障恢復。

  缺陷：寫操作無法負載均衡；儲存能力受到單機的限制。

• 叢集：通過叢集，Redis 解決了寫操作無法負載均衡，以及儲存能力受到單機限制的問題，實現了較為完善的高可用方案。

 

Redis 持久化概述

持久化的功能：Redis 是記憶體資料庫，資料都是儲存在記憶體中。

為了避免程序退出導致資料的永久丟失，需要定期將 Redis 中的資料以某種形式(資料或命令)從記憶體儲存到硬碟；當下次 Redis 重啟時，利用持久化檔案實現資料恢復。

除此之外，為了進行災難備份，可以將持久化檔案拷貝到一個遠端位置。

Redis 持久化分為 RDB 持久化和 AOF 持久化：

• 前者將當前資料儲存到硬碟

• 後者則是將每次執行的寫命令儲存到硬碟（類似於 MySQL 的 binlog）

由於 AOF 持久化的實時性更好，即當程序意外退出時丟失的資料更少，因此 AOF 是目前主流的持久化方式，不過 RDB 持久化仍然有其用武之地。

下面依次介紹 RDB 持久化和 AOF 持久化；由於 Redis 各個版本之間存在差異，如無特殊說明，以 Redis 3.0 為準。

RDB 持久化

RDB 持久化是將當前程序中的資料生成快照儲存到硬碟(因此也稱作快照持久化)，儲存的檔案字尾是 RDB；當 Redis 重新啟動時，可以讀取快照檔案恢復資料。

觸發條件

RDB 持久化的觸發分為手動觸發和自動觸發兩種：

• 手動觸發

• 自動觸發

 

手動觸發：save 命令和 bgsave 命令都可以生成 RDB 檔案。

save 命令會阻塞 Redis 伺服器程序，直到 RDB 檔案建立完畢為止，在 Redis 伺服器阻塞期間，伺服器不能處理任何命令請求。

 

而 bgsave 命令會建立一個子程序，由子程序來負責建立 RDB 檔案，父程序(即 Redis 主程序)則繼續處理請求。

 

此時伺服器執行日誌如下：

 

bgsave 命令執行過程中，只有 fork 子程序時會阻塞伺服器，而對於 save 命令，整個過程都會阻塞伺服器。

因此 save 已基本被廢棄，線上環境要杜絕 save 的使用；後文中也將只介紹 bgsave 命令。

此外，在自動觸發 RDB 持久化時，Redis 也會選擇 bgsave 而不是 save 來進行持久化；下面介紹自動觸發 RDB 持久化的條件。

自動觸發：最常見的情況是在配置檔案中通過 save m n，指定當 m 秒內發生 n 次變化時，會觸發 bgsave。

例如，檢視 Redis 的預設配置檔案(Linux 下為 Redis 根目錄下的 redis.conf)，可以看到如下配置資訊：

 

其中 save 900 1 的含義是：當時間到 900 秒時，如果 Redis 資料發生了至少 1 次變化，則執行 bgsave。

save 300 10 和 save 60 10000 同理，當三個 save 條件滿足任意一個時，都會引起 bgsave 的呼叫。

save m n 的實現原理：Redis 的 save m n，是通過 serverCron 函式、dirty 計數器和 lastsave 時間戳來實現的。

serverCron 是 Redis 伺服器的週期性操作函式，預設每隔 100ms 執行一次；該函式對伺服器的狀態進行維護，其中一項工作就是檢查 save m n 配置的條件是否滿足，如果滿足就執行 bgsave。

dirty 計數器是 Redis 伺服器維持的一個狀態，記錄了上一次執行 bgsave/save 命令後，伺服器狀態進行了多少次修改(包括增刪改)；而當 save/bgsave 執行完成後，會將 dirty 重新置為 0。

例如，如果 Redis 執行了 set mykey helloworld，則 dirty 值會 +1；如果執行了 sadd myset v1 v2 v3，則 dirty 值會 +3；注意 dirty 記錄的是伺服器進行了多少次修改，而不是客戶端執行了多少修改資料的命令。

lastsave 時間戳也是 Redis 伺服器維持的一個狀態，記錄的是上一次成功執行 save/bgsave 的時間。

save m n 的原理如下：每隔 100ms，執行 serverCron 函式；在 serverCron 函式中，遍歷 save m n 配置的儲存條件，只要有一個條件滿足，就進行 bgsave。

對於每一個 save m n 條件，只有下面兩條同時滿足時才算滿足：

• 當前時間-lastsave > m

• dirty >= n

save m n 執行日誌：下圖是 save m n 觸發 bgsave 執行時，伺服器列印日誌的情況。

 

除了 save m n 以外，還有一些其他情況會觸發 bgsave：

• 在主從複製場景下，如果從節點執行全量複製操作，則主節點會執行 bgsave 命令，並將 RDB 檔案傳送給從節點。

• 執行 shutdown 命令時，自動執行 RDB 持久化，如下圖所示：

 

 

執行流程

前面介紹了觸發 bgsave 的條件，下面將說明 bgsave 命令的執行流程，如下圖所示：

 

圖片中的 5 個步驟所進行的操作如下：

• Redis 父程序首先判斷：當前是否在執行 save 或 bgsave/bgrewriteaof（後面會詳細介紹該命令）的子程序，如果在執行則 bgsave 命令直接返回。

  bgsave/bgrewriteaof 的子程序不能同時執行，主要是基於效能方面的考慮：兩個併發的子程序同時執行大量的磁碟寫操作，可能引起嚴重的效能問題。

• 父程序執行 fork 操作建立子程序，這個過程中父程序是阻塞的，Redis 不能執行來自客戶端的任何命令。

• 父程序 fork 後，bgsave 命令返回”Background saving started”資訊並不再阻塞父程序，並可以響應其他命令。

• 子程序建立 RDB 檔案，根據父程序記憶體快照生成臨時快照檔案，完成後對原有檔案進行原子替換。

• 子程序傳送訊號給父程序表示完成，父程序更新統計資訊。

 

RDB 檔案

RDB 檔案是經過壓縮的二進位制檔案，下面介紹關於 RDB 檔案的一些細節。

 

儲存路徑

RDB 檔案的儲存路徑既可以在啟動前配置，也可以通過命令動態設定。

配置：dir 配置指定目錄，dbfilename 指定檔名。預設是 Redis 根目錄下的 dump.rdb 檔案。

動態設定：Redis 啟動後也可以動態修改 RDB 儲存路徑，在磁碟損害或空間不足時非常有用；執行命令為 config set dir {newdir}和 config set dbfilename {newFileName}。

如下所示(Windows 環境)：

 

 

RDB 檔案格式

RDB 檔案格式如下圖所示：

 

其中各個欄位的含義說明如下：

• REDIS：常量，儲存著“REDIS”5 個字元。

• db_version：RDB 檔案的版本號，注意不是 Redis 的版本號。

• SELECTDB 0 pairs：表示一個完整的資料庫(0 號資料庫)，同理 SELECTDB 3 pairs 表示完整的 3 號資料庫。

  只有當資料庫中有鍵值對時，RDB 檔案中才會有該資料庫的資訊(上圖所示的 Redis 中只有 0 號和 3 號資料庫有鍵值對)；如果 Redis 中所有的資料庫都沒有鍵值對，則這一部分直接省略。

  其中：SELECTDB 是一個常量，代表後面跟著的是資料庫號碼；0 和 3 是資料庫號碼；pairs 則儲存了具體的鍵值對資訊，包括 key、value 值，及其資料型別、內部編碼、過期時間、壓縮資訊等等。

• EOF：常量，標誌 RDB 檔案正文內容結束。

• check_sum：前面所有內容的校驗和；Redis 在載入 RBD 檔案時，會計算前面的校驗和並與 check_sum 值比較，判斷檔案是否損壞。

 

壓縮

Redis 預設採用 LZF 演算法對 RDB 檔案進行壓縮。雖然壓縮耗時，但是可以大大減小 RDB 檔案的體積，因此壓縮預設開啟；可以通過命令關閉：

 

需要注意的是，RDB 檔案的壓縮並不是針對整個檔案進行的，而是對資料庫中的字串進行的，且只有在字串達到一定長度(20 位元組)時才會進行。

 

啟動時載入

RDB 檔案的載入工作是在伺服器啟動時自動執行的，並沒有專門的命令。但是由於 AOF 的優先順序更高，因此當 AOF 開啟時，Redis 會優先載入 AOF 檔案來恢復資料。

只有當 AOF 關閉時，才會在 Redis 伺服器啟動時檢測 RDB 檔案，並自動載入。伺服器載入 RDB 檔案期間處於阻塞狀態，直到載入完成為止。

Redis 啟動日誌中可以看到自動載入的執行：

 

Redis 載入 RDB 檔案時，會對 RDB 檔案進行校驗，如果檔案損壞，則日誌中會列印錯誤，Redis 啟動失敗。

 

RDB 常用配置總結

下面是 RDB 常用的配置項，以及預設值，前面介紹過的這裡不再詳細介紹：

• save m n：bgsave 自動觸發的條件；如果沒有 save m n 配置，相當於自動的 RDB 持久化關閉，不過此時仍可以通過其他方式觸發。

• stop-writes-on-bgsave-error yes：當 bgsave 出現錯誤時，Redis 是否停止執行寫命令；設定為 yes，則當硬碟出現問題時，可以及時發現，避免資料的大量丟失。

  設定為 no，則 Redis 無視 bgsave 的錯誤繼續執行寫命令，當對 Redis 伺服器的系統(尤其是硬碟)使用了監控時，該選項考慮設定為 no。

• rdbcompression yes：是否開啟 RDB 檔案壓縮。

• rdbchecksum yes：是否開啟 RDB 檔案的校驗，在寫入檔案和讀取檔案時都起作用；關閉 checksum 在寫入檔案和啟動檔案時大約能帶來 10% 的效能提升，但是資料損壞時無法發現。

• dbfilename dump.rdb：RDB 檔名。

• dir ./：RDB 檔案和 AOF 檔案所在目錄。

 

AOF 持久化

RDB 持久化是將程序資料寫入檔案，而 AOF 持久化(即 Append Only File 持久化)，則是將 Redis 執行的每次寫命令記錄到單獨的日誌檔案中（有點像 MySQL 的 binlog），當 Redis 重啟時再次執行 AOF 檔案中的命令來恢復資料。

與 RDB 相比，AOF 的實時性更好，因此已成為主流的持久化方案。

 

開啟 AOF

Redis 伺服器預設開啟 RDB，關閉 AOF；要開啟 AOF，需要在配置檔案中配置：appendonly yes。

 

執行流程

由於需要記錄 Redis 的每條寫命令，因此 AOF 不需要觸發，下面介紹 AOF 的執行流程。

AOF 的執行流程包括：

• 命令追加(append)：將 Redis 的寫命令追加到緩衝區 aof_buf。

• 檔案寫入(write)和檔案同步(sync)：根據不同的同步策略將 aof_buf 中的內容同步到硬碟。

• 檔案重寫(rewrite)：定期重寫 AOF 檔案，達到壓縮的目的。

 

命令追加(append)

Redis 先將寫命令追加到緩衝區，而不是直接寫入檔案，主要是為了避免每次有寫命令都直接寫入硬碟，導致硬碟 IO 成為 Redis 負載的瓶頸。

命令追加的格式是 Redis 命令請求的協議格式，它是一種純文字格式，具有相容性好、可讀性強、容易處理、操作簡單避免二次開銷等優點，具體格式略。

在 AOF 檔案中，除了用於指定資料庫的 select 命令（如 select 0 為選中 0 號資料庫）是由 Redis 新增的，其他都是客戶端傳送來的寫命令。

 

檔案寫入(write)和檔案同步(sync)

Redis 提供了多種 AOF 快取區的同步檔案策略，策略涉及到作業系統的 write 函式和 fsync 函式，說明如下：

• 為了提高檔案寫入效率，在現代作業系統中，當用戶呼叫 write 函式將資料寫入檔案時，作業系統通常會將資料暫存到一個記憶體緩衝區裡，當緩衝區被填滿或超過了指定時限後，才真正將緩衝區的資料寫入到硬盤裡。

  這樣的操作雖然提高了效率，但也帶來了安全問題：如果計算機停機，記憶體緩衝區中的資料會丟失。

  因此係統同時提供了 fsync、fdatasync 等同步函式，可以強制作業系統立刻將緩衝區中的資料寫入到硬盤裡，從而確保資料的安全性。

 

AOF 快取區的同步檔案策略由引數 appendfsync 控制，各個值的含義如下：

• always：命令寫入 aof_buf 後立即呼叫系統 fsync 操作同步到 AOF 檔案，fsync 完成後執行緒返回。

  這種情況下，每次有寫命令都要同步到 AOF 檔案，硬碟 IO 成為效能瓶頸，Redis 只能支援大約幾百 TPS 寫入，嚴重降低了 Redis 的效能。

  即便是使用固態硬碟（SSD），每秒大約也只能處理幾萬個命令，而且會大大降低 SSD 的壽命。

• no：命令寫入 aof_buf 後呼叫系統 write 操作，不對 AOF 檔案做 fsync 同步；同步由作業系統負責，通常同步週期為 30 秒。

  這種情況下，檔案同步的時間不可控，且緩衝區中堆積的資料會很多，資料安全性無法保證。

• everysec：命令寫入 aof_buf 後呼叫系統 write 操作，write 完成後執行緒返回；fsync 同步檔案操作由專門的執行緒每秒呼叫一次。

  everysec 是前述兩種策略的折中，是效能和資料安全性的平衡，因此是 Redis 的預設配置，也是我們推薦的配置。

 

檔案重寫(rewrite)

隨著時間流逝，Redis 伺服器執行的寫命令越來越多，AOF 檔案也會越來越大；過大的 AOF 檔案不僅會影響伺服器的正常執行，也會導致資料恢復需要的時間過長。

檔案重寫是指定期重寫 AOF 檔案，減小 AOF 檔案的體積。需要注意的是，AOF 重寫是把 Redis 程序內的資料轉化為寫命令，同步到新的 AOF 檔案；不會對舊的 AOF 檔案進行任何讀取、寫入操作！

關於檔案重寫需要注意的另一點是：對於 AOF 持久化來說，檔案重寫雖然是強烈推薦的，但並不是必須的。即使沒有檔案重寫，資料也可以被持久化並在 Redis 啟動的時候匯入。

因此在一些實現中，會關閉自動的檔案重寫，然後通過定時任務在每天的某一時刻定時執行。

檔案重寫之所以能夠壓縮 AOF 檔案，原因在於：

• 過期的資料不再寫入檔案。

• 無效的命令不再寫入檔案：如有些資料被重複設值(set mykey v1，set mykey v2)、有些資料被刪除了(sadd myset v1，del myset)等等。

• 多條命令可以合併為一個：如 sadd myset v1，sadd myset v2，sadd myset v3 可以合併為 sadd myset v1 v2 v3。

  不過為了防止單條命令過大造成客戶端緩衝區溢位，對於 list、set、hash、zset 型別的 key，並不一定只使用一條命令。

  而是以某個常量為界將命令拆分為多條。這個常量在 redis.h/REDIS_AOF_REWRITE_ITEMS_PER_CMD 中定義，不可更改，3.0 版本中值是 64。

 

通過上述內容可以看出，由於重寫後 AOF 執行的命令減少了，檔案重寫既可以減少檔案佔用的空間，也可以加快恢復速度。

 

檔案重寫的觸發

檔案重寫的觸發，分為手動觸發和自動觸發：

手動觸發，直接呼叫 bgrewriteaof 命令，該命令的執行與 bgsave 有些類似：都是 fork 子程序進行具體的工作，且都只有在 fork 時阻塞。

 

此時伺服器執行日誌如下：

 

自動觸發，根據 auto-aof-rewrite-min-size 和 auto-aof-rewrite-percentage 引數，以及 aof_current_size 和 aof_base_size 狀態確定觸發時機：

• auto-aof-rewrite-min-size：執行 AOF 重寫時，檔案的最小體積，預設值為 64MB。

• auto-aof-rewrite-percentage：執行 AOF 重寫時，當前 AOF 大小(即 aof_current_size)和上一次重寫時 AOF 大小(aof_base_size)的比值。

其中，引數可以通過 config get 命令檢視：

 

狀態可以通過 info persistence 檢視：

 

只有當 auto-aof-rewrite-min-size 和 auto-aof-rewrite-percentage 兩個引數同時滿足時，才會自動觸發 AOF 重寫，即 bgrewriteaof 操作。

自動觸發 bgrewriteaof 時，可以看到伺服器日誌如下：

 

檔案重寫的流程

檔案重寫流程如下圖所示：

 

關於檔案重寫的流程，有兩點需要特別注意：

• 重寫由父程序 fork 子程序進行。

• 重寫期間 Redis 執行的寫命令，需要追加到新的 AOF 檔案中，為此 Redis 引入了 aof_rewrite_buf 快取。

對照上圖，檔案重寫的流程如下：

• 1)：Redis 父程序首先判斷當前是否存在正在執行 bgsave/bgrewriteaof 的子程序，如果存在則 bgrewriteaof 命令直接返回；如果存在 bgsave 命令則等 bgsave 執行完成後再執行，這個主要是基於效能方面的考慮。

• 2)：父程序執行 fork 操作建立子程序，這個過程中父程序是阻塞的。

• 3.1)：父程序 fork 後，bgrewriteaof 命令返回“Background append only file rewrite started”資訊並不再阻塞父程序，並可以響應其他命令。

  Redis 的所有寫命令依然寫入 AOF 緩衝區，並根據 appendfsync 策略同步到硬碟，保證原有 AOF 機制的正確。

• 3.2)：由於 fork 操作使用寫時複製技術，子程序只能共享 fork 操作時的記憶體資料。

  由於父程序依然在響應命令，因此 Redis 使用 AOF 重寫緩衝區(圖中的 aof_rewrite_buf)儲存這部分資料，防止新 AOF 檔案生成期間丟失這部分資料。

  也就是說，bgrewriteaof 執行期間，Redis 的寫命令同時追加到 aof_buf 和 aof_rewirte_buf 兩個緩衝區。

• 4)：子程序根據記憶體快照，按照命令合併規則寫入到新的 AOF 檔案。

• 5.1)：子程序寫完新的 AOF 檔案後，向父程序發訊號，父程序更新統計資訊，具體可以通過 info persistence 檢視。

• 5.2)：父程序把 AOF 重寫緩衝區的資料寫入到新的 AOF 檔案，這樣就保證了新 AOF 檔案所儲存的資料庫狀態和伺服器當前狀態一致。

• 5.3)：使用新的 AOF 檔案替換老檔案，完成 AOF 重寫。

 

啟動時載入

前面提到過，當 AOF 開啟時，Redis 啟動時會優先載入 AOF 檔案來恢復資料；只有當 AOF 關閉時，才會載入 RDB 檔案恢復資料。

當 AOF 開啟，且 AOF 檔案存在時，Redis 啟動日誌：

當 AOF 開啟，但 AOF 檔案不存在時，即使 RDB 檔案存在也不會載入(更早的一些版本可能會載入，但 3.0 不會)，Redis 啟動日誌如下：

 

檔案校驗

與載入 RDB 檔案類似，Redis 載入 AOF 檔案時，會對 AOF 檔案進行校驗，如果檔案損壞，則日誌中會列印錯誤，Redis 啟動失敗。

但如果是 AOF 檔案結尾不完整(機器突然宕機等容易導致檔案尾部不完整)，且 aof-load-truncated 引數開啟，則日誌中會輸出警告，Redis 忽略掉 AOF 檔案的尾部，啟動成功。

aof-load-truncated 引數預設是開啟的：

 

偽客戶端

因為 Redis 的命令只能在客戶端上下文中執行，而載入 AOF 檔案時命令是直接從檔案中讀取的，並不是由客戶端傳送。

因此 Redis 伺服器在載入 AOF 檔案之前，會建立一個沒有網路連線的客戶端，之後用它來執行 AOF 檔案中的命令，命令執行的效果與帶網路連線的客戶端完全一樣。

 

AOF 常用配置總結

下面是 AOF 常用的配置項，以及預設值：

• appendonly no：是否開啟 AOF。

• appendfilename "appendonly.aof"：AOF 檔名。

• dir ./：RDB 檔案和 AOF 檔案所在目錄。

• appendfsync everysec：fsync 持久化策略。

• no-appendfsync-on-rewrite no：AOF 重寫期間是否禁止 fsync；如果開啟該選項，可以減輕檔案重寫時 CPU 和硬碟的負載（尤其是硬碟），但是可能會丟失 AOF 重寫期間的資料；需要在負載和安全性之間進行平衡。

• auto-aof-rewrite-percentage 100：檔案重寫觸發條件之一。

• auto-aof-rewrite-min-size 64mb：檔案重寫觸發提交之一。

• aof-load-truncated yes：如果 AOF 檔案結尾損壞，Redis 啟動時是否仍載入 AOF 檔案

 

方案選擇與常見問題

前面介紹了 RDB 和 AOF 兩種持久化方案的細節，下面介紹 RDB 和 AOF 的特點、如何選擇持久化方案，以及在持久化過程中常遇到的問題等。

RDB 和 AOF 的優缺點

RDB 和 AOF 各有優缺點：

RDB 持久化

優點：RDB 檔案緊湊，體積小，網路傳輸快，適合全量複製；恢復速度比 AOF 快很多。當然，與 AOF 相比，RDB 最重要的優點之一是對效能的影響相對較小。

缺點：RDB 檔案的致命缺點在於其資料快照的持久化方式決定了必然做不到實時持久化，而在資料越來越重要的今天，資料的大量丟失很多時候是無法接受的，因此 AOF 持久化成為主流。

此外，RDB 檔案需要滿足特定格式，相容性差（如老版本的 Redis 不相容新版本的 RDB 檔案）。

AOF 持久化

與 RDB 持久化相對應，AOF 的優點在於支援秒級持久化、相容性好，缺點是檔案大、恢復速度慢、對效能影響大。

持久化策略選擇

在介紹持久化策略之前，首先要明白無論是 RDB 還是 AOF，持久化的開啟都是要付出效能方面代價的：

• 對於 RDB 持久化，一方面是 bgsave 在進行 fork 操作時 Redis 主程序會阻塞，另一方面，子程序向硬碟寫資料也會帶來 IO 壓力。

• 對於 AOF 持久化，向硬碟寫資料的頻率大大提高(everysec 策略下為秒級)，IO 壓力更大，甚至可能造成 AOF 追加阻塞問題（後面會詳細介紹這種阻塞）。

  此外，AOF 檔案的重寫與 RDB 的 bgsave 類似，會有 fork 時的阻塞和子程序的 IO 壓力問題。

  相對來說，由於 AOF 向硬碟中寫資料的頻率更高，因此對 Redis 主程序效能的影響會更大。

在實際生產環境中，根據資料量、應用對資料的安全要求、預算限制等不同情況，會有各種各樣的持久化策略。

如完全不使用任何持久化、使用 RDB 或 AOF 的一種，或同時開啟 RDB 和 AOF 持久化等。

此外，持久化的選擇必須與 Redis 的主從策略一起考慮，因為主從複製與持久化同樣具有資料備份的功能，而且主機 master 和從機 slave 可以獨立的選擇持久化方案。

下面分場景來討論持久化策略的選擇，討論也只是作為參考，實際方案可能更復雜更具多樣性：

• 如果 Redis 中的資料完全丟棄也沒有關係（如 Redis 完全用作 DB 層資料的 Cache），那麼無論是單機，還是主從架構，都可以不進行任何持久化。

• 在單機環境下（對於個人開發者，這種情況可能比較常見），如果可以接受十幾分鍾或更多的資料丟失，選擇 RDB 對 Redis 的效能更加有利；如果只能接受秒級別的資料丟失，應該選擇 AOF。

• 但在多數情況下，我們都會配置主從環境，slave 的存在既可以實現資料的熱備，也可以進行讀寫分離分擔 Redis 讀請求，以及在 master 宕掉後繼續提供服務。

在這種情況下，一種可行的做法是：

• master：完全關閉持久化（包括 RDB 和 AOF），這樣可以讓 master 的效能達到最好。

• slave：關閉 RDB，開啟 AOF（如果對資料安全要求不高，開啟 RDB 關閉 AOF 也可以），並定時對持久化檔案進行備份（如備份到其他資料夾，並標記好備份的時間）。

  然後關閉 AOF 的自動重寫，然後新增定時任務，在每天 Redis 閒時（如凌晨 12 點）呼叫 bgrewriteaof。

這裡需要解釋一下，為什麼開啟了主從複製，可以實現資料的熱備份，還需要設定持久化呢？

因為在一些特殊情況下，主從複製仍然不足以保證資料的安全，例如：

• master 和 slave 程序同時停止：考慮這樣一種場景，如果 master 和 slave 在同一棟大樓或同一個機房，則一次停電事故就可能導致 master 和 slave 機器同時關機，Redis 程序停止；如果沒有持久化，則面臨的是資料的完全丟失。

• master誤重啟：考慮這樣一種場景，master 服務因為故障宕掉了，如果系統中有自動拉起機制（即檢測到服務停止後重啟該服務）將 master 自動重啟，由於沒有持久化檔案，那麼 master 重啟後資料是空的，slave 同步資料也變成了空的；如果 master 和 slave 都沒有持久化，同樣會面臨資料的完全丟失。

  需要注意的是，即便是使用了哨兵(關於哨兵後面會有文章介紹)進行自動的主從切換，也有可能在哨兵輪詢到 master 之前，便被自動拉起機制重啟了。因此，應儘量避免“自動拉起機制”和“不做持久化”同時出現。

異地災備：上述討論的幾種持久化策略，針對的都是一般的系統故障，如程序異常退出、宕機、斷電等，這些故障不會損壞硬碟。

但是對於一些可能導致硬碟損壞的災難情況，如火災地震，就需要進行異地災備。

例如對於單機的情形，可以定時將 RDB 檔案或重寫後的 AOF 檔案，通過 scp 拷貝到遠端機器，如阿里雲、AWS 等。

對於主從的情形，可以定時在 master 上執行 bgsave，然後將 RDB 檔案拷貝到遠端機器，或者在 slave 上執行 bgrewriteaof 重寫 AOF 檔案後，將 AOF 檔案拷貝到遠端機器上。

一般來說，由於 RDB 檔案檔案小、恢復快，因此災難恢復常用 RDB 檔案；異地備份的頻率根據資料安全性的需要及其他條件來確定，但最好不要低於一天一次。

 

fork 阻塞：CPU 的阻塞

在 Redis 的實踐中，眾多因素限制了 Redis 單機的記憶體不能過大，例如：

• 當面對請求的暴增，需要從庫擴容時，Redis 記憶體過大會導致擴容時間太長。

• 當主機宕機時，切換主機後需要掛載從庫，Redis 記憶體過大導致掛載速度過慢。

• 持久化過程中的 fork 操作。

首先說明一下 fork 操作：父程序通過 fork 操作可以建立子程序；子程序建立後，父子程序共享程式碼段，不共享程序的資料空間，但是子程序會獲得父程序的資料空間的副本。

在作業系統 fork 的實際實現中，基本都採用了寫時複製技術，即在父/子程序試圖修改資料空間之前，父子程序實際上共享資料空間。

但是當父/子程序的任何一個試圖修改資料空間時，作業系統會為修改的那一部分(記憶體的一頁)製作一個副本。

雖然 fork 時，子程序不會複製父程序的資料空間，但是會複製記憶體頁表（頁表相當於記憶體的索引、目錄）；父程序的資料空間越大，記憶體頁表越大，fork 時複製耗時也會越多。

在 Redis 中，無論是 RDB 持久化的 bgsave，還是 AOF 重寫的 bgrewriteaof，都需要 fork 出子程序來進行操作。

如果 Redis 記憶體過大，會導致 fork 操作時複製記憶體頁表耗時過多；而 Redis 主程序在進行 fork 時，是完全阻塞的，也就意味著無法響應客戶端的請求，會造成請求延遲過大。

對於不同的硬體、不同的作業系統，fork 操作的耗時會有所差別，一般來說，如果 Redis 單機記憶體達到了 10GB，fork 時耗時可能會達到百毫秒級別（如果使用 Xen 虛擬機器，這個耗時可能達到秒級別）。

因此，一般來說 Redis 單機記憶體一般要限制在 10GB 以內；不過這個資料並不是絕對的，可以通過觀察線上環境 fork 的耗時來進行調整。

觀察的方法如下：執行命令 info stats，檢視 latest_fork_usec 的值，單位為微秒。

為了減輕 fork 操作帶來的阻塞問題，除了控制 Redis 單機記憶體的大小以外，還可以適度放寬 AOF 重寫的觸發條件、選用物理機或高效支援 fork 操作的虛擬化技術等，例如使用 Vmware 或 KVM 虛擬機器，不要使用 Xen 虛擬機器。

AOF 追加阻塞：硬碟的阻塞

前面提到過，在 AOF 中，如果 AOF 緩衝區的檔案同步策略為 everysec，則在主執行緒中，命令寫入 aof_buf 後呼叫系統 write 操作，write 完成後主執行緒返回。

fsync 同步檔案操作由專門的檔案同步執行緒每秒呼叫一次。這種做法的問題在於，如果硬碟負載過高，那麼 fsync 操作可能會超過 1s。

如果 Redis 主執行緒持續高速向 aof_buf 寫入命令，硬碟的負載可能會越來越大，IO 資源消耗更快；如果此時 Redis 程序異常退出，丟失的資料也會越來越多，可能遠超過 1s。

為此，Redis 的處理策略是這樣的：主執行緒每次進行 AOF 會對比上次 fsync 成功的時間；如果距上次不到 2s，主執行緒直接返回；如果超過 2s，則主執行緒阻塞直到 fsync 同步完成。

因此，如果系統硬碟負載過大導致 fsync 速度太慢，會導致 Redis 主執行緒的阻塞；此外，使用 everysec 配置，AOF 最多可能丟失 2s 的資料，而不是 1s。

AOF 追加阻塞問題定位的方法：

• 監控 info Persistence 中的 aof_delayed_fsync：當 AOF 追加阻塞發生時（即主執行緒等待 fsync 而阻塞），該指標累加。

• AOF 阻塞時的 Redis 日誌：Asynchronous AOF fsync is taking too long (disk is busy?). Writing the AOF buffer without waiting for fsync to complete, this may slow down Redis.

• 如果 AOF 追加阻塞頻繁發生，說明系統的硬碟負載太大，可以考慮更換 IO 速度更快的硬碟，或者通過 IO 監控分析工具對系統的 IO 負載進行分析，如 iostat（系統級 io）、iotop（io 版的 top）、pidstat 等。

 

info 命令與持久化

前面提到了一些通過 info 命令檢視持久化相關狀態的方法，下面來總結一下。

info Persistence

執行結果如下：

 

其中比較重要的包括：

• rdb_last_bgsave_status：上次 bgsave 執行結果，可以用於發現 bgsave 錯誤。

• rdb_last_bgsave_time_sec：上次 bgsave 執行時間（單位是 s），可以用於發現 bgsave 是否耗時過長。

• aof_enabled：AOF 是否開啟。

• aof_last_rewrite_time_sec：上次檔案重寫執行時間（單位是 s），可以用於發現檔案重寫是否耗時過長。

• aof_last_bgrewrite_status：上次 bgrewrite 執行結果，可以用於發現 bgrewrite 錯誤。

• aof_buffer_length 和 aof_rewrite_buffer_length：AOF 快取區大小和 AOF 重寫緩衝區大小。

• aof_delayed_fsync：AOF 追加阻塞情況的統計。

 

info stats

其中與持久化關係較大的是：latest_fork_usec，代表上次 fork 耗時，可以參見前面的討論。

 

總結

本文主要內容可以總結如下：

• 持久化在 Redis 高可用中的作用：資料備份，與主從複製相比強調的是由記憶體到硬碟的備份。

• RDB 持久化：將資料快照備份到硬碟；介紹了其觸發條件（包括手動出發和自動觸發）、執行流程、RDB 檔案等，特別需要注意的是檔案儲存操作由 fork 出的子程序來進行。

• AOF 持久化：將執行的寫命令備份到硬碟（類似於 MySQL 的 binlog），介紹了其開啟方法、執行流程等，特別需要注意的是檔案同步策略的選擇（everysec）、檔案重寫的流程。

• 一些現實的問題：包括如何選擇持久化策略，以及需要注意的 fork 阻塞、AOF 追加阻塞等。