redis 快取擊穿 看一篇成高手系列3
什麼是快取擊穿
在談論快取擊穿之前,我們先來回憶下從快取中載入資料的邏輯,如下圖所示
因此,如果黑客每次故意查詢一個在快取內必然不存在的資料,導致每次請求都要去儲存層去查詢,這樣快取就失去了意義。如果在大流量下資料庫可能掛掉。這就是快取擊穿。
場景如下圖所示:
我們正常人在登入首頁的時候,都是根據userID來命中資料,然而黑客的目的是破壞你的系統,黑客可以隨機生成一堆userID,然後將這些請求懟到你的伺服器上,這些請求在快取中不存在,就會穿過快取,直接懟到資料庫上,從而造成資料庫連線異常。
解決方案
在這裡我們給出三套解決方案,大家根據專案中的實際情況,選擇使用.
講下述三種方案前,我們先回憶下redis的setnx方法
SETNX key value
將 key 的值設為 value ,當且僅當 key 不存在。
若給定的 key 已經存在,則 SETNX 不做任何動作。
SETNX 是『SET if Not eXists』(如果不存在,則 SET)的簡寫。
可用版本:>= 1.0.0
時間複雜度: O(1)
返回值: 設定成功,返回 1。設定失敗,返回 0 。
效果如下
redis>EXISTSjob# job 不存在
(integer)0
redis>SETNXjob"programmer"# job 設定成功
(integer)1
redis>SETNXjob"code-farmer"# 嘗試覆蓋 job ,失敗
(integer)0
redis>GETjob# 沒有被覆蓋
"programmer"
1、使用互斥鎖
該方法是比較普遍的做法,即,在根據key獲得的value值為空時,先鎖上,再從資料庫載入,載入完畢,釋放鎖。若其他執行緒發現獲取鎖失敗,則睡眠50ms後重試。
至於鎖的型別,單機環境用併發包的Lock型別就行,叢集環境則使用分散式鎖( redis的setnx)
叢集環境的redis的程式碼如下所示:
Stringget(Stringkey){
Stringvalue=redis.get(key);
if(value ==null){
if(redis.setnx(key_mutex,"1")){
// 3 min timeout to avoid mutex holder crash
redis.expire(key_mutex,3*60)
value=db.get(key);
redis.set(key,value);
redis.delete(key_mutex);
}else{
//其他執行緒休息50毫秒後重試
Thread.sleep(50);
get(key);
}
}
}
優點
思路簡單
保證一致性
缺點
程式碼複雜度增大
存在死鎖的風險
2、非同步構建快取
在這種方案下,構建快取採取非同步策略,會從執行緒池中取執行緒來非同步構建快取,從而不會讓所有的請求直接懟到資料庫上。該方案redis自己維護一個timeout,當timeout小於System.currentTimeMillis()時,則進行快取更新,否則直接返回value值。
叢集環境的redis程式碼如下所示:
Stringget(finalStringkey){
Vv=redis.get(key);
Stringvalue=v.getValue();
longtimeout=v.getTimeout();
if(v.timeout<=System.currentTimeMillis()){
// 非同步更新後臺異常執行
threadPool.execute(newRunnable(){
publicvoidrun(){
StringkeyMutex="mutex:"+key;
if(redis.setnx(keyMutex,"1")){
// 3 min timeout to avoid mutex holder crash
redis.expire(keyMutex,3*60);
StringdbValue=db.get(key);
redis.set(key,dbValue);
redis.delete(keyMutex);
}
}
});
}
returnvalue;
}
優點
性價最佳,使用者無需等待
缺點
無法保證快取一致性
3、布隆過濾器
1、原理
布隆過濾器的巨大用處就是,能夠迅速判斷一個元素是否在一個集合中。因此他有如下三個使用場景:
網頁爬蟲對URL的去重,避免爬取相同的URL地址
反垃圾郵件,從數十億個垃圾郵件列表中判斷某郵箱是否垃圾郵箱(同理,垃圾簡訊)
快取擊穿,將已存在的快取放到布隆過濾器中,當黑客訪問不存在的快取時迅速返回避免快取及DB掛掉。
OK,接下來我們來談談布隆過濾器的原理
其內部維護一個全為0的bit陣列,需要說明的是,布隆過濾器有一個誤判率的概念,誤判率越低,則陣列越長,所佔空間越大。誤判率越高則陣列越小,所佔的空間越小。