1. 程式人生 > 實用技巧 >資料刪除與淘汰策略

資料刪除與淘汰策略

  1.過期資料

    • Redis中的資料特徵

      Redis是一種記憶體級資料庫,所有資料均存放在記憶體中,記憶體中的資料可以通過TTL指令獲取其狀態

      TTL返回的值有三種情況:正數,-1,-2

      • 正數:代表該資料在記憶體中還能存活的時間
      • -1:永久有效的資料
      • 2:已經過期的資料 或被刪除的資料 或 未定義的資料

      刪除策略就是針對已過期資料的處理策略,已過期的資料是真的就立即刪除了嗎?其實也不是,我們會有多種刪除策略,是分情況的,在不同的場景下使用不同的刪除方式會有不同效果。

       過期資料是一塊獨立的儲存空間,Hash結構,field是記憶體地址,value是過期時間,儲存了所有key的過期描述,在最終進行過期處理的時候,對該空間的資料進行檢測, 當時間到期之後通過field找到記憶體該地址處的資料,然後進行相關操作。

  2.資料刪除策略

  • 定時刪除

    • 建立一個定時器,當key設定有過期時間,且過期時間到達時,由定時器任務立即執行對鍵的刪除操作
      • 優點:節約記憶體,到時就刪除,快速釋放掉不必要的記憶體佔用
      • 缺點:CPU壓力很大,無論CPU此時負載量多高,均佔用CPU,會影響redis伺服器響應時間和指令吞吐量
      • 總結:用處理器效能換取儲存空間(拿時間換空間)

 

  • 惰性刪除

    • 資料到達過期時間,不做處理。等下次訪問該資料時,我們需要判斷

       如果未過期,返回資料

       發現已過期,刪除,返回不存在

      • 優點:節約CPU效能,發現必須刪除的時候才刪除
      • 缺點:記憶體壓力很大,出現長期佔用記憶體的資料
      • 總結:用儲存空間換取處理器效能(拿時間換空間)
  • 定期刪除

  • Redis啟動伺服器初始化時,讀取配置server.hz的值,預設為10
  • 每秒鐘執行server.hz次serverCron()-------->databasesCron()--------->activeExpireCycle()
  • activeExpireCycle()對每個expires[*]逐一進行檢測,每次執行耗時:250ms/server.hz
  • 對某個expires[*]檢測時,隨機挑選W個key檢測
  如果key超時,刪除key
​
  如果一輪中刪除的key的數量>W*25%,迴圈該過程
​
  如果一輪中刪除的key的數量≤W*25%,檢查下一個expires[*],0-15迴圈
​
  W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值
  • 引數current_db用於記錄activeExpireCycle()進入哪個expires[*] 執行
  • 如果activeExpireCycle()執行時間到期,下次從current_db繼續向下執行

總的來說:定期刪除就是週期性輪詢redis庫中的時效性資料,採用隨機抽取的策略,利用過期資料佔比的方式控制刪除頻度

  • 特點1:CPU效能佔用設定有峰值,檢測頻度可自定義設定
  • 特點2:記憶體壓力不是很大,長期佔用記憶體的冷資料會被持續清理
  • 總結:週期性抽查儲存空間(隨機抽查,重點抽查)

  刪除策略對比

  1:定時刪除:

節約記憶體,無佔用,
不分時段佔用CPU資源,頻度高,
拿時間換空間

  2:惰性刪除:

記憶體佔用嚴重
延時執行,CPU利用率高
拿空間換時間

  3:定期刪除:

記憶體定期隨機清理
每秒花費固定的CPU資源維護記憶體
隨機抽查,重點抽查

 

  3.資料淘汰策略(逐出演算法)

    淘汰策略概述

當新資料進入redis時,如果記憶體不足怎麼辦?在執行每一個命令前,會呼叫freeMemoryIfNeeded()檢測記憶體是否充足。如果記憶體不滿足新 加入資料的最低儲存要求,redis要臨時刪除一些資料為當前指令清理儲存空間。清理資料的策略稱為逐出演算法。

注意:逐出資料的過程不是100%能夠清理出足夠的可使用的記憶體空間,如果不成功則反覆執行。當對所有資料嘗試完畢, 如不能達到記憶體清理的要求,將出現錯誤資訊如下

(error) OOM command not allowed when used memory >'maxmemory'

  

    策略配置

1:最大可使用記憶體,即佔用實體記憶體的比例,預設值為0,表示不限制。生產環境中根據需求設定,通常設定在50%以上

maxmemory ?mb

2:每次選取待刪除資料的個數,採用隨機獲取資料的方式作為待檢測刪除資料

maxmemory-samples count

3:對資料進行刪除的選擇策略

maxmemory-policy policy
  •   資料刪除的策略policy
    •   檢測易失資料(可能會過期的資料集server.db[i].expires )

volatile-lru:挑選最近最少使用的資料淘汰 volatile-lfu:挑選最近使用次數最少的資料淘汰 volatile-ttl:挑選將要過期的資料淘汰 volatile-random:任意選擇資料淘汰

    • 檢測全庫資料(所有資料集server.db[i].dict )
allkeys-lru:挑選最近最少使用的資料淘汰
allkeLyRs-lfu::挑選最近使用次數最少的資料淘汰
allkeys-random:任意選擇資料淘汰,相當於隨機
    • 放棄資料驅逐
no-enviction(驅逐):禁止驅逐資料(redis4.0中預設策略),會引發OOM(Out Of Memory)
    • 注意:這些策略是配置到哪個屬性上
    • maxmemory-policy volatile-lru