紐西蘭MayDay工作室受騰訊投資 將重塑品牌
嗯,其實很早之前就想寫這篇文章了,稍稍接觸過redis的人都知道redis的兩種持久化方式以及對應的配置。但是我還是想說一下面試中的redis的此類問題,例如面試官問你,eg:我們都知道redis的幾種持久化方式,請簡述一下他們的區別和優缺點。我們經常接觸,但是如果面試沒做準備的話還是很容易被問懵,其實我最想強調的是,不管你有多少工作經驗,對這些知識點你掌握如何,只要去面試就一定一定得複習全備,因為這一類得東西我們實際上不常用,至少不可能說是天天用。
我做面試官的時候一般會從幾個緯度來判斷一個人是否能勝任一個崗位:知識面廣度,專業深度,邏輯思維。但是總有一些公司的技術面試習慣性的去用自己的認知去否定別人的認知,一千個讀者就有一千個哈姆雷特,每個人對一個相同的知識點的歸納是不同的,我其實很是討厭此類人,當然此類人往往出現在小公司的情況比較多,先進公司然後當上了小管理,其實大家不用被此類人影響到對知識點的認知。
持久化之RDB
定義:在指定的時間間隔內生成資料集的時間點快照(point-in-time snapshot)
RDB 的優點
1.RDB 是一個非常緊湊(compact)的檔案,它儲存了 Redis 在某個時間點上的資料集。 這種檔案非常適合用於進行備份: 比如說,你可以在最近的 24 小時內,每小時備份一次 RDB 檔案,並且在每個月的每一天,也備份一個 RDB 檔案。 這樣的話,即使遇上問題,也可以隨時將資料集還原到不同的版本。
2.RDB 非常適用於災難恢復(disaster recovery):它只有一個檔案,並且內容都非常緊湊,可以(在加密後)將它傳送到別的資料中心,或者亞馬遜 S3 中。
3.RDB 可以最大化 Redis 的效能:父程序在儲存 RDB 檔案時唯一要做的就是 fork 出一個子程序,然後這個子程序就會處理接下來的所有儲存工作,父程序無須執行任何磁碟 I/O 操作。
4.RDB 在恢復大資料集時的速度比 AOF 的恢復速度要快。
RDB 的缺點
如果你需要儘量避免在伺服器故障時丟失資料,那麼 RDB 不適合你。 雖然 Redis 允許你設定不同的儲存點(save point)來控制儲存 RDB 檔案的頻率, 但是, 因為RDB 檔案需要儲存整個資料集的狀態, 所以它並不是一個輕鬆的操作。 因此你可能會至少 5 分鐘才儲存一次 RDB 檔案。 在這種情況下, 一旦發生故障停機, 你就可能會丟失好幾分鐘的資料。
每次儲存 RDB 的時候,Redis 都要 fork() 出一個子程序,並由子程序來進行實際的持久化工作。 在資料集比較龐大時, fork() 可能會非常耗時,造成伺服器在某某毫秒內停止處理客戶端; 如果資料集非常巨大,並且 CPU 時間非常緊張的話,那麼這種停止時間甚至可能會長達整整一秒。 雖然 AOF 重寫也需要進行 fork() ,但無論 AOF 重寫的執行間隔有多長,資料的耐久性都不會有任何損失。
AOF 的優點
1.使用 AOF 持久化會讓 Redis 變得非常耐久(much more durable):你可以設定不同的 fsync 策略,比如無 fsync ,每秒鐘一次 fsync ,或者每次執行寫入命令時 fsync 。 AOF 的預設策略為每秒鐘 fsync 一次,在這種配置下,Redis 仍然可以保持良好的效能,並且就算髮生故障停機,也最多隻會丟失一秒鐘的資料( fsync 會在後臺執行緒執行,所以主執行緒可以繼續努力地處理命令請求)。
AOF 檔案是一個只進行追加操作的日誌檔案(append only log), 因此對 AOF 檔案的寫入不需要進行 seek , 即使日誌因為某些原因而包含了未寫入完整的命令(比如寫入時磁碟已滿,寫入中途停機,等等), redis-check-aof 工具也可以輕易地修復這種問題。
Redis 可以在 AOF 檔案體積變得過大時,自動地在後臺對 AOF 進行重寫: 重寫後的新 AOF 檔案包含了恢復當前資料集所需的最小命令集合。 整個重寫操作是絕對安全的,因為 Redis 在建立新 AOF 檔案的過程中,會繼續將命令追加到現有的 AOF 檔案裡面,即使重寫過程中發生停機,現有的 AOF 檔案也不會丟失。 而一旦新 AOF 檔案建立完畢,Redis 就會從舊 AOF 檔案切換到新 AOF 檔案,並開始對新 AOF 檔案進行追加操作。
AOF 檔案有序地儲存了對資料庫執行的所有寫入操作, 這些寫入操作以 Redis 協議的格式儲存, 因此 AOF 檔案的內容非常容易被人讀懂, 對檔案進行分析(parse)也很輕鬆。 匯出(export) AOF 檔案也非常簡單: 舉個例子, 如果你不小心執行了 FLUSHALL 命令, 但只要 AOF 檔案未被重寫, 那麼只要停止伺服器, 移除 AOF 檔案末尾的 FLUSHALL 命令, 並重啟 Redis , 就可以將資料集恢復到 FLUSHALL 執行之前的狀態。
AOF 的缺點
對於相同的資料集來說,AOF 檔案的體積通常要大於 RDB 檔案的體積。
根據所使用的 fsync 策略,AOF 的速度可能會慢於 RDB 。 在一般情況下, 每秒 fsync 的效能依然非常高, 而關閉 fsync 可以讓 AOF 的速度和 RDB 一樣快, 即使在高負荷之下也是如此。 不過在處理巨大的寫入載入時,RDB 可以提供更有保證的最大延遲時間(latency)。
AOF 在過去曾經發生過這樣的 bug : 因為個別命令的原因,導致 AOF 檔案在重新載入時,無法將資料集恢復成儲存時的原樣。 (舉個例子,阻塞命令 BRPOPLPUSH 就曾經引起過這樣的 bug 。) 測試套件裡為這種情況添加了測試: 它們會自動生成隨機的、複雜的資料集, 並通過重新載入這些資料來確保一切正常。 雖然這種 bug 在 AOF 檔案中並不常見, 但是對比來說, RDB 幾乎是不可能出現這種 bug 的。
然後咱以上就是rdb和aof的優缺點,簡單用自己的話來描述一下吧
RDB的優點:簡稱“3更”
1.體積更小:相同的資料量rdb資料比aof的小,因為rdb是緊湊型檔案
2.恢復更快:因為rdb是資料的快照,基本上就是資料的複製,不用重新讀取再寫入記憶體
3.效能更高:父程序在儲存rdb時候只需要fork一個子程序,無需父程序的進行其他io操作,也保證了伺服器的效能。
缺點:
1.故障丟失:因為rdb是全量的,我們一般是使用shell指令碼實現30分鐘或者1小時或者每天對redis進行rdb備份,(注,也可以是用自帶的策略),但是最少也要5分鐘進行一次的備份,所以當服務死掉後,最少也要丟失5分鐘的資料。
2.耐久性差:相對aof的非同步策略來說,因為rdb的複製是全量的,即使是fork的子程序來進行備份,當資料量很大的時候對磁碟的消耗也是不可忽視的,尤其在訪問量很高的時候,fork的時間也會延長,導致cpu吃緊,耐久性相對較差。
aof的優點
1.資料保證:我們可以設定fsync策略,一般預設是everysec,也可以設定每次寫入追加,所以即使服務死掉了,咱們也最多丟失一秒資料
2.自動縮小:當aof檔案大小到達一定程度的時候,後臺會自動的去執行aof重寫,此過程不會影響主程序,重寫完成後,新的寫入將會寫到新的aof中,舊的就會被刪除掉。但是此條如果拿出來對比rdb的話還是沒有必要算成優點,只是官網顯示成優點而已。
缺點呢:和rdb相反嘛,畢竟只有兩種。
1.效能相對較差:它的操作模式決定了它會對redis的效能有所損耗
2.體積相對更大:儘管是將aof檔案重寫了,但是畢竟是操作過程和操作結果仍然有很大的差別,體積也毋庸置疑的更大。
3.恢復速度更慢:
所以我給出的問題的答案呢:redis有兩種持久化方式,aof和rdb,aof相當於日誌記錄操作命令,rdb相當於資料的快照。安全性來講由於aof的記錄能夠精確到秒級追加甚至逐條追加,而rdb只能是全量複製,aof明顯高於rdb。但是從效能來講rdb就略勝一籌,rdb是redis效能最大化的體現,它不用每秒監控是否有資料寫入,當達到觸發條件後就自動fork一個子程序進行全量更新,速度也很快。容災回覆方面rdb更是能夠快速的恢復資料,而aof需要讀取再寫入,相對慢了很多。
然後面試官就會問你:所以你選擇是什麼?
aof!!!!!!(在中國資料安全是最重要的)
作者:Stevennnmmm
連結:https://www.jianshu.com/p/1d9ab6bc0835
來源:簡書
著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。