1. 程式人生 > >【原創】那些年用過的Redis集群架構(含面試解析)

【原創】那些年用過的Redis集群架構(含面試解析)

alived redis事務 空間 孤獨 不生效 strong 推出 tin 試用

引言

今天是2019年2月12號,也就是大年初八,我接到了高中同學劉有碼面試失利的消息。

他面試的時候,身份是某知名公司的小碼農一枚,卻因為不懂自己生產上Redis是如何部署的,導致面試失敗!

人間慘劇,莫過於此。

接到他面試失利的消息,我差點發出豬一樣的笑聲,顯然是平時太少關註孤獨煙這個公眾號!

我提筆6次,放筆6次,差點因為過於興奮而沒法編下去。最後還是硬著頭皮寫下了本文!

因此,今天我們來談談Redis集群這個話題,需要說明的是本文

  • 適合人群:不知道自己生產redis集群架構,以及對Redis集群不了解的人
  • 不適合群: 對自己生產Redis集群架構非常了解的人

本文預計分兩個部分

  • 第一部分:講講Redis集群架構的發展
  • 第二部分:煙哥彩蛋環節,講講面試註意事項!

ps:煙哥彩蛋環節的內容,小白必背!必背!必背!

正文

老規矩,我還是以循序漸進的方式來講,我一共經歷過三套集群架構的演進!

Replication+Sentinel

這套架構使用的是社區版本推出的原生高可用解決方案,其架構圖如下!
技術分享圖片

這裏Sentinel的作用有三個:

  • 監控:Sentinel 會不斷的檢查主服務器和從服務器是否正常運行。
  • 通知:當被監控的某個redis服務器出現問題,Sentinel通過API腳本向管理員或者其他的應用程序發送通知。
  • 自動故障轉移:當主節點不能正常工作時,Sentinel會開始一次自動的故障轉移操作,它會將與失效主節點是主從關系 的其中一個從節點升級為新的主節點,並且將其他的從節點指向新的主節點。

工作原理就是,當Master宕機的時候,Sentinel會選舉出新的Master,並根據Sentinel中client-reconfig-script腳本配置的內容,去動態修改VIP(虛擬IP),將VIP(虛擬IP)指向新的Master。我們的客戶端就連向指定的VIP即可!
故障發生後的轉移情況,可以理解為下圖
技術分享圖片

缺陷:
(1)主從切換的過程中會丟數據
(2)Redis只能單點寫,不能水平擴容

Proxy+Replication+Sentinel

這裏的Proxy目前有兩種選擇:Codis和Twemproxy。我經歷這套架構的時間為2015年,當時我好像咨詢過我的主管為啥不用Codis和Redis官網的Redis Cluster。原因有二:

  • 據說是因為Codis開源的比較晚,考慮到更換組件的成本問題。畢竟本來運行好好的東西,你再去換組件,風險是很大的。
  • Redis Cluster在2015年還是試用版,不保證會遇到什麽問題,因此不敢嘗試。

所以我沒接觸過Codis,之前一直用的是Twemproxy作為Proxy。
這裏以Twemproxy為例說明,如下圖所示
技術分享圖片

工作原理如下

  • 前端使用Twemproxy+KeepAlived做代理,將其後端的多臺Redis實例分片進行統一管理與分配
  • 每一個分片節點的Slave都是Master的副本且只讀
  • Sentinel持續不斷的監控每個分片節點的Master,當Master出現故障且不可用狀態時,Sentinel會通知/啟動自動故障轉移等動作
  • Sentinel 可以在發生故障轉移動作後觸發相應腳本(通過 client-reconfig-script 參數配置 ),腳本獲取到最新的Master來修改Twemproxy配置

缺陷:
(1)部署結構超級復雜
(2)可擴展性差,進行擴縮容需要手動幹預
(3)運維不方便

Redis Cluster

我經歷這套架構的時間為2017年,在這個時間Redis Cluster已經很成熟了!你們在網上能查到的大部分缺點,在我接觸到的時候基本已經解決!
比如沒有完善的運維工具?可以參照一下搜狐出的CacheCloud
比如沒有公司在生產用過?我接觸到的時候,百度貼吧,美團等大廠都用過了。
比如沒有Release版?我接觸到的時候距離Redis Cluster發布Release版已經很久。
而且畢竟是官網出的,肯定會一直維護、更新下去,未來必定會更加成熟、穩定。換句話說,Redis不倒,Redis Cluster就不會放棄維護。所以,我推薦還是這套架構!
如下圖所示
技術分享圖片

工作原理如下

  • 客戶端與Redis節點直連,不需要中間Proxy層,直接連接任意一個Master節點
  • 根據公式HASH_SLOT=CRC16(key) mod 16384,計算出映射到哪個分片上,然後Redis會去相應的節點進行操作

具有如下優點:
(1)無需Sentinel哨兵監控,如果Master掛了,Redis Cluster內部自動將Slave切換Master
(2)可以進行水平擴容
(3)支持自動化遷移,當出現某個Slave宕機了,那麽就只有Master了,這時候的高可用性就無法很好的保證了,萬一master也宕機了,咋辦呢? 針對這種情況,如果說其他Master有多余的Slave ,集群自動把多余的Slave遷移到沒有Slave的Master 中。

缺點:
(1)批量操作是個坑
(2)資源隔離性較差,容易出現相互影響的情況。

煙哥彩蛋

在面試中如果碰到下列問題,如何應用上本篇的知識呢?先明確一點,我推薦的是Redis Cluster。
OK,開始舉例說明

問題1:懂Redis事務麽?
正常版:Redis事務是一些列redis命令的集合,blabla...
高調版: 我們在生產上采用的是Redis Cluster集群架構,不同的key是有可能分配在不同的Redis節點上的,在這種情況下Redis的事務機制是不生效的。其次,Redis事務不支持回滾操作,簡直是雞肋!所以基本不用!

問題2:Redis的多數據庫機制,了解多少?
正常版:Redis支持多個數據庫,並且每個數據庫的數據是隔離的不能共享,單機下的redis可以支持16個數據庫(db0 ~ db15)
高調版: 在Redis Cluster集群架構下只有一個數據庫空間,即db0。因此,我們沒有使用Redis的多數據庫功能!

問題3:Redis集群機制中,你覺得有什麽不足的地方嗎?
正常版: 不知道
高調版: 假設我有一個key,對應的value是Hash類型的。如果Hash對象非常大,是不支持映射到不同節點的!只能映射到集群中的一個節點上!還有就是做批量操作比較麻煩!

問題4:懂Redis的批量操作麽?
正常版: 懂一點。比如mset、mget操作等,blabla
高調版: 我們在生產上采用的是Redis Cluster集群架構,不同的key會劃分到不同的slot中,因此直接使用mset或者mget等操作是行不通的。

問題5:那在Redis集群模式下,如何進行批量操作?
正常版:不知道
高調版:這個問題其實可以寫一篇文章了,改天寫。這裏說一種有一個很簡單的答法,足夠面試用。即:
如果執行的key數量比較少,就不用mget了,就用串行get操作。如果真的需要執行的key很多,就使用Hashtag保證這些key映射到同一臺redis節點上。簡單來說語法如下

對於key為{foo}.student1、{foo}.student2,{foo}student3,這類key一定是在同一個redis節點上。因為key中“{}”之間的字符串就是當前key的hash tags, 只有key中{ }中的部分才被用來做hash,因此計算出來的redis節點一定是同一個!

ps:如果你用的是Proxy分片集群架構,例如Codis這種,會將mget/mset的多個key拆分成多個命令發往不同得redis實例,這裏不多說。我推薦答的還是redis cluster。

問題6:你們有對Redis做讀寫分離麽?
正常版:沒有做,至於原因額。。。額。。。額。。沒辦法了,硬著頭皮扯~
高調版:不做讀寫分離。我們用的是Redis Cluster的架構,是屬於分片集群的架構。而redis本身在內存上操作,不會涉及IO吞吐,即使讀寫分離也不會提升太多性能,Redis在生產上的主要問題是考慮容量,單機最多10-20G,key太多降低redis性能.因此采用分片集群結構,已經能保證了我們的性能。其次,用上了讀寫分離後,還要考慮主從一致性,主從延遲等問題,徒增業務復雜度。

總結

本文講了redis集群架構的演進,以及面試註意事項,希望大家有所收獲!

【原創】那些年用過的Redis集群架構(含面試解析)