1. 程式人生 > 資料庫 >從一個小需求感受Redis的獨特魅力(需求設計)

從一個小需求感受Redis的獨特魅力(需求設計)

分享一個簡單的小需求應該怎麼設計實現以及有關Redis的使用

Redis在實際應用中使用的非常廣泛,本篇文章就從一個簡單的需求說起,為你講述一個需求是如何從頭到尾開始做的,又是如何一步步完善的。之前寫過一篇《如何實現頁面廣告隨時上下線、過期自動下線及到時自動上線》,也涉及到了Redis在專案中的實際應用,有興趣的可以看一下。

需求

設定,現在我們有一個APP,產品新提出一個叫“程式設計師樹洞”的功能,具體功能就不說了,其中這個功能有一點需要做的是在使用該功能時,如果是首次進入會展示一個協議頁面,使用者需要勾選後點確定才能進入功能,此後再進該功能,不再顯示協議頁直接進入該功能。如下圖所示,

原型圖

需求分析

需求就是這麼的簡單,我們來分析一下。

1、使用者點選該功能時前端需要知道該給使用者顯示哪個頁面,這一步需要請求後端介面,後臺告訴前端這個使用者有沒有同意過協議。

2、使用者勾選協議點確定,後端需要記錄這步操作(記錄使用者已經同意協議),這一步需在點確定時前端請求後端介面。

概要設計

前面需求分析裡說了,後端需要告訴前端使用者有沒有統一過協議,所以後端需要把這個資訊記錄下來,最好是記錄到資料庫儲存,那就需要一張表來記錄同意過協議的使用者。表結構大致是:id,客戶號,插入時間。

詳細設計

1、記錄客戶是否已同意過協議並提供查詢功能(查詢是否同意過協議)

2、沒有同意過的和同意過的使用者資訊怎麼儲存

3、如何高效的查詢是否同意過

4、怎麼保證高併發下服務的可用性,資料庫的可用性

功能實現

後端提供兩個介面,

1、hasAgree(),查詢該使用者是否已同意協議

2、recordAgree(),記錄使用者已同意協議

第一版 Just DB

很容易嘛!不就是CRUD嗎,小意思。使用者進來先查資料庫有沒有記錄,沒有返回使用者沒有同意過協議,前端給使用者展示協議頁,否則展示功能頁;使用者點同意後,後臺記錄使用者已點了同意協議,記錄到庫。一個查詢一個插入,5分鐘搞定嘛。

直接甩程式碼

第一版程式碼如上,我覺得剛入門的程式設計師都能夠寫出來。如果使用者量不大,該功能的點選量不大的話,這麼做還是勉強說得過去。為什麼說勉強說得過去,因為存在隱患,你看啊如果每次點選都會去查庫,假如有人惡意攻擊,仿造高併發,瞬時大量請求過來都去查庫,很可能資料庫頂不住就掛了。或者就算資料庫沒掛,每次查庫也都是浪費啊。所以這是個隱患,或者潛在的危險,那麼第二版我們就去解決這個問題。

第二版 引入Redis快取

考慮到每次查庫很浪費,那我們使用快取好不好? 進來先查快取有沒有對應的資料,快取裡有就直接返回,沒有則查庫,庫裡有就存快取。這樣redis就分擔了一部分資料庫的壓力。

程式碼呈上

這一版好一點了,部分請求分攤到redis了,減輕了資料庫的壓力。

第三版 解決快取穿透

隨著客戶量的增加,點選這個功能的次數、頻率越來越高,假如有人頻繁點選該功能,彈出協議後,退出,再點,再退出…就是不點確定

這樣會有啥問題?

這樣的話後臺快取中沒有,資料庫中也沒有,每次都會走資料庫,繞過了快取,直接都走資料庫,這類請求量多了也是個問題,這就是快取穿透。所以第三版,我們來解決快取穿透的問題。

解決快取穿透:因為是資料庫和快取都沒有,我們可以讓資料庫沒有的也存到redis。需要改變redis的資料型別,由set改為map,目的是記錄狀態值。

可以看到,我們的這個key-field-value沒有設定過期時間,因為可以認為這個key是一個熱點key,對於熱點key我們的處理方式是,永久有效或過期時間儘量長一點。

第四版 快取預熱防止快取擊穿

另一個關於快取的問題,那就是快取擊穿。

何為快取擊穿?假如該功能在前期宣傳力度比較大,或預計該功能上線後點擊量比較大的話,那麼在功能上線後很可能就會一瞬間大量使用者來點選這個功能,因為我們前面的邏輯是首次進入該功能的使用者展示協議頁,我們的後臺處理雖然加了redis快取,但是新上的功能所有使用者都沒有點過,那麼redis裡就沒有快取,是不是所有使用者的請求都落到資料庫了?一旦瞬間流量非常大,資料庫安全性就存在隱患,有被搞垮的可能。

這個問題就是可以理解為快取擊穿。(實際的快取擊穿是某個key在快取裡不存在或是失效後,某一瞬間很多請求都來訪問這個key,都判定為redis裡沒有這個key,就都去查庫。)

所以怎麼解決呢?我們可以在該功能上線前,提前將需要做快取的資料放入redis,即快取預熱。

如何預熱?將所有使用者的資訊都放到redis.舉個栗子(也許不是最佳的),我們使用Redis的hash資料結構,key-field-value。key我們可以固定一個字串如coderTreeHole_Agreement_Check,field我們可以用客戶號(唯一),value是個標誌位,用0代表沒同意過協議,1代表同意過。一般在電商大促前都會對熱點key進行預熱,不然真的扛不住。

and,使用者量很大的時候redis裡的coderTreeHole_Agreement_Check這個key是不是很大?在redis叢集部署模式下,這個key是不是都放在一個節點上?why?

redis3.0上加入了cluster模式,實現的redis的分散式儲存,也就是說每臺redis節點上儲存不同的內容。在redis的每一個節點上,都有這麼兩個東西,一個是插槽(slot),它的的取值範圍是:0-16383。還有一個就是cluster,可以理解為是一個叢集管理的外掛。當我們的存取的key到達的時候,redis會根據crc16的演算法得出一個結果,然後把結果對16384求餘數,這樣每個key都會對應一個編號在0-16383之間的雜湊槽,通過這個值,去找到對應的插槽所對應的節點,然後直接自動跳轉到這個對應的節點上進行存取操作。

看了上面這段話,明白了吧。那對於這個大key而且是熱點key的請求,是不是都落到某一個redis節點上了?大key會帶來很多問題,篇幅原因以後再來細說,跑題了。。。

針對這個需求,你還有什麼方法防治快取擊穿?

第五版 訊息佇列削峰填谷

可以看到我們上面的設計其實都是實時對資料庫進行操作的。

例如,當用戶點了同意,前端就調後臺的recordAgree方法將該記錄記錄到資料庫,即這條記錄是立馬插入到資料庫的。

如果剛上線這個功能,大量使用者同時點這個功能,併發量大的話,請求走到後臺,那麼寫庫的操作就非常多,資料庫連線數突然激增,資料庫會頂不住吧。

所以為避免流量集中落到資料庫,此時我們可以使用訊息佇列MQ。將插入操作的請求發往訊息佇列,使插入操作以一定的速率到資料庫執行,使得對資料庫的請求數儘量平滑,訊息發給訊息佇列立即返回給前端成功,不用等待插庫完成,用MQ實現了非同步解耦,削峰填谷。

到這你是不是忍不住說設計的真贊~~

另外MQ的使用注意的點還是非常多的,如:訊息佇列的訊息重複消費問題,順序問題,事務訊息等。

總結

對於這個需求設計到哪種程度取決於你的使用者量和併發量,如果是像雙十一那樣,肯定是要用訊息佇列的,那一般小的例如,使用者量1千萬,日活10萬,請求最集中的也就是中午9-12點,下午13-17點吧,差不多8個小時,平均一個小時1.25萬,使用者都來點這個功能的話,每分鐘208,每秒3.5,算不上高併發,資料庫完全扛得住。

總結一下,這個需求我們用到的知識點(敲黑板),redis資料快取,redis快取穿透,快取擊穿,熱點key問題,redis大key問題(沒具體講),訊息佇列非同步解耦等。

畫圖碼字不易,如果覺得我寫的還可以,記得點贊鼓勵一下哦,如果覺得有問題歡迎指正。

好了,就給大家介紹這麼多。