• 4.Redis 刪除策略
  • 4.1 過期資料
  • 4.2 資料刪除策略
  • 4.3 逐出演算法

4.Redis 刪除策略

4.1 過期資料

Redis中的資料特徵

Redis是一種記憶體級資料庫，所有資料均存放在記憶體中，記憶體中的資料可以通過TTL指令獲取其狀態 
    XX ：具有時效性的資料 
    -1  ：永久有效的資料 
    -2  ：已經過期的資料 或 被刪除的資料 或 未定義的資料 

資料刪除策略

1. 定時刪除 
2. 惰性刪除 
3. 定期刪除 

4.2 資料刪除策略

時效性資料的儲存結構

資料刪除策略的目標

在記憶體佔用與CPU佔用之間尋找一種平衡，顧此失彼都會造成整體redis效能的下降，甚至引發伺服器宕機或記憶體洩露 
 

定時刪除

建立一個定時器，當key設定有過期時間，且過期時間到達時，由定時器任務立即執行對鍵的刪除操作 
 
優點：節約記憶體，到時就刪除，快速釋放掉不必要的記憶體佔用 
缺點：CPU壓力很大，無論CPU此時負載量多高，均佔用CPU，會影響redis伺服器響應時間和指令吞吐量 

總結：用處理器效能換取儲存空間  （拿時間換空間） 

惰性刪除

資料到達過期時間，不做處理。等下次訪問該資料時 
    如果未過期，返回資料 
    發現已過期，刪除，返回不存在 
 
優點：節約CPU效能，發現必須刪除的時候才刪除 
缺點：記憶體壓力很大，出現長期佔用記憶體的資料 
 
總結：用儲存空間換取處理器效能 （拿時間換空間） 
 

定期刪除

兩種方案都走極端，有沒有折中方案？

expires[*] 中括號內為資料庫的編號，0-15

Redis啟動伺服器初始化時，讀取配置server.hz的值，預設為10 
每秒鐘執行server.hz次serverCron() 
					  |--> databasesCron()
					  			|--> activeExpireCycle()
activeExpireCycle()對每個expires[*]逐一進行檢測，每次執行250ms/server.hz 

對某個expires[*]檢測時，隨機挑選W個key檢測 
    如果key超時，刪除key 
    如果一輪中刪除的key的數量>W*25%，迴圈該過程 
    如果一輪中刪除的key的數量≤W*25%，檢查下一個expires[*]，0-15迴圈
    W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值 

引數current_db用於記錄activeExpireCycle() 進入哪個expires[*] 執行 
如果activeExpireCycle()執行時間到期，下次從current_db繼續向下執行 
 

過程：
	每秒鐘執行（讀取配置server.hz的值，預設為10 ）次serverCron()操作，在操作中使用databasesCron()對所有資料庫進行輪詢訪問，在訪問時activeExpireCycle()對每一個庫中的key輪詢訪問，訪問的策略是隨機挑選 W 個key檢測，W取值由配置決定。挑選出key後判斷如果有過期的就刪除掉，同時看刪除的量佔總體的量是多還是少，如果一輪中刪除的key的數量>W*25%，迴圈該過程。如果一輪中刪除的key的數量 ≤ W*25%，檢查下一個資料庫。

週期性輪詢redis庫中的時效性資料，採用隨機抽取的策略，利用過期資料佔比的方式控制刪除頻度 
 
特點1：CPU效能佔用設定有峰值，檢測頻度可自定義設定 
特點2：記憶體壓力不是很大，長期佔用記憶體的冷資料會被持續清理 
 
總結：週期性抽查儲存空間  （隨機抽查，重點抽查） 

刪除策略比對

1. 定時刪除 	節約記憶體，無佔用 		不分時段佔用CPU資源，頻度高 		拿時間換空間 

2. 惰性刪除 	記憶體佔用嚴重 			 延時執行，CPU利用率高 				拿空間換時間 

3. 定期刪除 	記憶體定期隨機清理 		每秒花費固定的CPU資源維護記憶體 		隨機抽查，重點抽查 

4.3 逐出演算法

當新資料進入redis時，如果記憶體不足怎麼辦？

Redis使用記憶體儲存資料，在執行每一個命令前，會呼叫freeMemoryIfNeeded()檢測記憶體是否充足。如果記憶體不滿足新加入資料的最低儲存要求，redis要臨時刪除一些資料為當前指令清理儲存空間。清理資料的策略稱為逐出演算法。 

注意：逐出資料的過程不是100%能夠清理出足夠的可使用的記憶體空間，如果不成功則反覆執行。當對所有資料嘗試完畢後，如果不能達到記憶體清理的要求，將出現錯誤資訊。 
	(error) OOM command not allowed when used memory >'maxmemory' 

影響資料逐出的相關配置

最大可使用記憶體

 maxmemory 

佔用實體記憶體的比例，預設值為0，表示不限制。生產環境中根據需求設定，通常設定在50%以上

每次選取待刪除資料的個數

 maxmemory-samples

選取資料時並不會全庫掃描，導致嚴重的效能消耗，降低讀寫效能。因此採用隨機獲取資料的方式作為待檢測刪除資料

刪除策略

maxmemory-policy

達到最大記憶體後的，對被挑選出來的資料進行刪除的策略

資料逐出8種策略：

檢測易失資料（可能會過期的資料集server.db[i].expires ）   (推薦使用)
    ① volatile-lru：挑選最近最少使用的資料淘汰 
    ② volatile-lfu：挑選最近使用次數最少的資料淘汰 
    ③ volatile-ttl：挑選將要過期的資料淘汰 
    ④ volatile-random：任意選擇資料淘汰 

檢測全庫資料（所有資料集server.db[i].dict ） 
    ⑤ allkeys-lru：挑選最近最少使用的資料淘汰 
    ⑥ allkeys-lfu：挑選最近使用次數最少的資料淘汰 
    ⑦ allkeys-random：任意選擇資料淘汰 

放棄資料驅逐 
	⑧ no-enviction（驅逐）：禁止驅逐資料（redis4.0中預設策略），會引發錯誤OOM（Out Of Memory） 

conf配置：

maxmemory-policy  volatile-lru

資料逐出策略配置依據

使用INFO命令輸出監控資訊，查詢快取 hit 和 miss 的次數，根據業務需求調優Redis配置