2. 程式人生 > >redis過期機制

redis過期機制

阿新 • • 發佈：2018-11-21
  1. Redis會自己回收清理不用的資料嗎？
  2. 如果能，那如何配置？
  3. 如果不能，如何防止資料累加後大量佔用儲存空間的問題？

　　之前一直接觸Redis不是很深入，最近專案當中遇到一個需求場景，需要清空一些存放在Redis的資料，主要是通過一些時間進行過濾，刪除那些不滿足的資料，但是這樣的工作每天都需要進行，那工作量就比較大了，而且每天都需要按時去手動清理，這樣做也不切實際，後面發現Redis中有個設定時間過期的功能，即對儲存在Redis資料庫中的值可以設定一個過期時間。作為一個快取資料庫，這是非常實用的。這就是我們本文要講到的Redis過期機制。其實這個機制運用的場景十分廣泛，比如我們一般專案中的token或者一些登入資訊，尤其是簡訊驗證碼都是有時間限制的，或者是限制請求次數，如果按照傳統的資料庫處理方式，一般都是自己判斷過期，這樣無疑會嚴重影響專案效能

 

  

一、設定過期時間

　　Redis對儲存值的過期處理實際上是針對該值的鍵（key）處理的，即時間的設定也是設定key的有效時間。Expires字典儲存了所有鍵的過期時間，Expires也被稱為過期欄位。

  • expire key time(以秒為單位)--這是最常用的方式
  • setex(String key, int seconds, String value)--字串獨有的方式

注：
　　1、除了字串自己獨有設定過期時間的方法外，其他方法都需要依靠expire方法來設定時間
　　2、如果沒有設定時間，那快取就是永不過期
　　3、如果設定了過期時間，之後又想讓快取永不過期，使用persist key

1、常用方式

一般主要包括4種處理過期方，其中expire都是以秒為單位，pexpire都是以毫秒為單位的。

1 EXPIRE key seconds　　//將key的生存時間設定為ttl秒
2 PEXPIRE key milliseconds　　//將key的生成時間設定為ttl毫秒
3 EXPIREAT key timestamp　　//將key的過期時間設定為timestamp所代表的的秒數的時間戳
4 PEXPIREAT key milliseconds-timestamp　　//將key的過期時間設定為timestamp所代表的的毫秒數的時間戳

備註：timestamp為unix時間戳（例如：timestamp=1499788800 表示將在2017.07.12過期）
1、2兩種方式是設定一個過期的時間段，就是咱們處理驗證碼最常用的策略，設定三分鐘或五分鐘後失效，把分鐘數轉換成秒或毫秒儲存到Redis中。 
3、4兩種方式是指定一個過期的時間 ，比如優惠券的過期時間是某年某月某日，只是單位不一樣。

下面我們就以EXPIREAT為例子簡單講解下用法。

返回值

一個整數值1或0，如下：

  • 如果成功地為該鍵設定了超時時間，返回 1
  • 如果鍵不存在或無法設定超時時間，返回 0

語法
以下是以Redis的EXPIREAT命令的基本語法。

1 redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP

示例

首先，在Redis中建立一個鍵：akey，並在akey中設定一些值。

1 redis 127.0.0.1:6379> SET akey redis 
2 OK

現在，為設定建立的鍵設定超時時間為60 秒。

複製程式碼 
 1 127.0.0.1:6379> SET akey redis
 2 OK
 3 127.0.0.1:6379> EXPIREAT akey 1393840000
 4 (integer) 1
 5 127.0.0.1:6379> EXISTS akey
 6 (integer) 0
 7 127.0.0.1:6379> SET akey redis
 8 OK
 9 127.0.0.1:6379> EXPIREAT akey 1493840000
10 (integer) 1
11 127.0.0.1:6379> EXISTS akey
12 (integer) 1
複製程式碼    

其他三個用法類似，這裡不逐一闡述

2、字串獨有方式

對字串特殊處理的方式為SETEX命令，SETEX命令為指定的 key 設定值及其過期時間。如果 key 已經存在， SETEX 命令將會替換舊的值。

返回值

設定成功時返回 OK 。

語法

Redis Setex 命令基本語法如下：

redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE

示例

1 redis 127.0.0.1:6379> SETEX mykey 60 redis
2 OK
3 redis 127.0.0.1:6379> TTL mykey
4 60
5 redis 127.0.0.1:6379> GET mykey
6 "redis

二、3種過期策略

  • 定時刪除
    • 含義：在設定key的過期時間的同時，為該key建立一個定時器，讓定時器在key的過期時間來臨時，對key進行刪除
    • 優點：保證記憶體被儘快釋放
    • 缺點：
      • 若過期key很多，刪除這些key會佔用很多的CPU時間，在CPU時間緊張的情況下，CPU不能把所有的時間用來做要緊的事兒，還需要去花時間刪除這些key
      • 定時器的建立耗時，若為每一個設定過期時間的key建立一個定時器（將會有大量的定時器產生），效能影響嚴重
      • 沒人用
  • 惰性刪除
    • 含義：key過期的時候不刪除，每次從資料庫獲取key的時候去檢查是否過期，若過期，則刪除，返回null。
    • 優點：刪除操作只發生在從資料庫取出key的時候發生，而且只刪除當前key，所以對CPU時間的佔用是比較少的，而且此時的刪除是已經到了非做不可的地步（如果此時還不刪除的話，我們就會獲取到了已經過期的key了）
    • 缺點：若大量的key在超出超時時間後，很久一段時間內，都沒有被獲取過，那麼可能發生記憶體洩露（無用的垃圾佔用了大量的記憶體）
  • 定期刪除
    • 含義：每隔一段時間執行一次刪除(在redis.conf配置檔案設定hz，1s重新整理的頻率)過期key操作
    • 優點：
      • 通過限制刪除操作的時長和頻率，來減少刪除操作對CPU時間的佔用--處理"定時刪除"的缺點
      • 定期刪除過期key--處理"惰性刪除"的缺點
    • 缺點
      • 在記憶體友好方面，不如"定時刪除"
      • 在CPU時間友好方面，不如"惰性刪除"
    • 難點
      • 合理設定刪除操作的執行時長（每次刪除執行多長時間）和執行頻率（每隔多長時間做一次刪除）（這個要根據伺服器執行情況來定了）

看完上面三種策略後可以得出以下結論： 
定時刪除和定期刪除為主動刪除：Redis會定期主動淘汰一批已過去的key

惰性刪除為被動刪除：用到的時候才會去檢驗key是不是已過期，過期就刪除

惰性刪除為redis伺服器內建策略

定期刪除可以通過：

  • 第一、配置redis.conf 的hz選項，預設為10 （即1秒執行10次，100ms一次，值越大說明重新整理頻率越快，最Redis效能損耗也越大） 
  • 第二、配置redis.conf的maxmemory最大值，當已用記憶體超過maxmemory限定時，就會觸發主動清理策略

 注意：

  • 上邊所說的資料庫指的是記憶體資料庫，預設情況下每一臺redis伺服器有16個數據庫（關於資料庫的設定，看下邊程式碼），預設使用0號資料庫，所有的操作都是對0號資料庫的操作，關於redis資料庫的儲存結構，檢視 第八章 Redis資料庫結構與讀寫原理
# 設定資料庫數量。預設為16個庫，預設使用DB 0，可以使用"select 1"來選擇一號資料庫
# 注意：由於預設使用0號資料庫，那麼我們所做的所有的快取操作都存在0號資料庫上，
# 當你在1號資料庫上去查詢的時候，就查不到之前set過得快取
# 若想將0號資料庫上的快取移動到1號資料庫，可以使用"move key 1"
databases 16
  • memcached只是用了惰性刪除，而Redis同時使用了惰性刪除與定期刪除，這也是二者的一個不同點（可以看做是redis優於memcached的一點）
  • 對於惰性刪除而言，並不是只有獲取key的時候才會檢查key是否過期，在某些設定key的方法上也會檢查（eg.setnx key2 value2：該方法類似於memcached的add方法，如果設定的key2已經存在，那麼該方法返回false，什麼都不做；如果設定的key2不存在，那麼該方法設定快取key2-value2。假設呼叫此方法的時候，發現redis中已經存在了key2，但是該key2已經過期了，如果此時不執行刪除操作的話，setnx方法將會直接返回false，也就是說此時並沒有重新設定key2-value2成功，所以對於一定要在setnx執行之前，對key2進行過期檢查）

三、Redis採用的過期策略

惰性刪除+定期刪除

  • 惰性刪除流程
    • 在進行get或setnx等操作時，先檢查key是否過期，
    • 若過期，刪除key，然後執行相應操作；
    • 若沒過期，直接執行相應操作
  • 定期刪除流程（簡單而言，對指定個數個庫的每一個庫隨機刪除小於等於指定個數個過期key）
    • 遍歷每個資料庫（就是redis.conf中配置的"database"數量，預設為16）
      • 檢查當前庫中的指定個數個key（預設是每個庫檢查20個key，注意相當於該迴圈執行20次，迴圈體時下邊的描述）
        • 如果當前庫中沒有一個key設定了過期時間，直接執行下一個庫的遍歷
        • 隨機獲取一個設定了過期時間的key，檢查該key是否過期，如果過期，刪除key
        • 判斷定期刪除操作是否已經達到指定時長，若已經達到，直接退出定期刪除。

四、RDB對過期key的處理

過期key對RDB沒有任何影響

  • 從記憶體資料庫持久化資料到RDB檔案
    • 持久化key之前，會檢查是否過期，過期的key不進入RDB檔案
  • 從RDB檔案恢復資料到記憶體資料庫
    • 資料載入資料庫之前，會對key先進行過期檢查，如果過期，不匯入資料庫（主庫情況）

五、AOF對過期key的處理

過期key對AOF沒有任何影響

  • 從記憶體資料庫持久化資料到AOF檔案：
    • 當key過期後，還沒有被刪除，此時進行執行持久化操作（該key是不會進入aof檔案的，因為沒有發生修改命令）
    • 當key過期後，在發生刪除操作時，程式會向aof檔案追加一條del命令（在將來的以aof檔案恢復資料的時候該過期的鍵就會被刪掉）
  • AOF重寫
  • 重寫時，會先判斷key是否過期，已過期的key不會重寫到aof檔案 
  • 出自---http://www.cnblogs.com/xuliangxing/p/7151812.html 

相關推薦

redis過期機制

Redis會自己回收清理不用的資料嗎？ 如果能，那如何配置？ 如果不能，如何防止資料累加後大量佔用儲存空間的問題？ 　　之前一直接觸Redis不是很深入，最近專案當中遇到一個需求場景，需要清空一些存放在Redis的資料，主要是通過一些時間進行過濾，刪除那些不滿足的資料，但是這樣的工作每天都

redis過期策略實現機制

參考：https://www.cnblogs.com/xuliangxing/p/7151812.html 一、redis設定過期時間     將某個key設定過期時間：expire key time(以秒為單位)     原子方式，同時設定值和過

Redis過期策略以及記憶體淘汰機制

過期鍵刪除策略 我們都知道，刪除鍵的目的，就是釋放記憶體佔用。那麼，當一個鍵過期了，Redis 什麼時候會去刪除她呢？ 定時刪除 設定鍵的過期時間時，建立一個 Timer ，當過期時間到臨時，立刻刪除鍵。 記憶體友好型策略，一旦鍵過期，就會被刪除，並釋放所佔用的記憶體，Cpu 不友好，當一批數量

redis key的過期機制

本文為閱讀 http://www.redis.io/commands/expire 做的一些記錄總結 redis是一個 高效能的key-value資料庫.我們可以對其中的key設定一個過期時間,相關命令如下: 1.在建立一個key value 的時候同時設定過期時間

redis 過期淘汰機制

redis是基於記憶體的，記憶體都是有限的，如果我們往redis中新增的資料超出了redis的記憶體範圍會怎麼樣呢？ 答案：某些資

Redis（六）--- Redis過期策略、記憶體淘汰機制、訊息及事物

1、簡述 （1）關於Redis鍵的過期策略，首先要了解兩種時間的區別，生存時間和過期時間； 生存時間：一段時長，如30秒、6000毫秒，設定鍵的生存時間就是設定這個鍵可以存在多長時間，命令有兩個 expire（秒）、pexpire（毫秒）（可以參考 Redis（四）--- R

redis過期策略與記憶體淘汰機制分析

過期策略： 　　我們在set key時，可以給一個expire time，就是過期時間 　　這段過期時間以後，redis對key刪除使用：定期刪除+惰性刪除 　　定期刪除指redis預設在100ms內隨機抽取一些設定了過期時間的key，檢查是否過期，過期就刪除。 　　定期刪除因為隨機的，很多key沒有

Redis過期--淘汰機制的解析和記憶體佔用過高的解決方案

echo編輯整理，歡迎轉載，轉載請宣告文章來源。歡迎新增echo微信(微訊號：t2421499075)交流學習。 百戰不敗，依不自稱常勝，百敗不頹，依能奮力前行。——這才是真正的堪稱強大！！！ Redis在我們平時的開發或者練習的時候，往往很容易忽略一個問題，那就是我們的Redis記憶體佔滿的問題。但是在

細說Redis持久化機制

pac 文件太大 rdb redis持久化 三種方式 server tracking 場景 自己的 概述 Redis不僅能夠作為緩存來使用，也能夠作為內存數據庫。Redis作為內存數據庫使用時。必需要解決一個問題：數據的持久性。有些將Redis作為緩存使用的場

Redis過期策略

link 進行 變量 耗時 ron del 配置 alt als Redis過期策略 原文轉載：https://www.cnblogs.com/java-zhao/p/5205771.html 1、設置過期時間 expire key time(以秒為單位)--這是最常用的

Redis 過期鍵的設置、獲取和刪除過期時間

sans tle 整數 時間 lis class 情況下 title 結構 Redis 過期鍵的設置、獲取和刪除過期時間 轉自http://blog.51cto.com/littledevil/1813956 設置過期 默認情況下鍵是沒有生存時間的，也就是永不過期，除非

redis持久化機制

toolbar 我們 等等 HERE 了解 OS row alt 數據 redis持久化機制 參考： https://www.cnblogs.com/xingzc/p/5988080.html https://blog.csdn.net/yujin2010good/

Redis哨兵機制

pin ali 角色 ID seconds slaveof name play minor Redis Sentinel物理結構圖 角色 IP Port 別名 master 127.0.01 6379 主節點 slave-1

Redis Sentinel機制與用法（一）

clear monitor 拒絕 coff failure abstract trac 用法 XML from:https://my.oschina.net/dyyweb/blog/513680 摘要: Redis Sentinel機制與用法（一） Sentin

美團針對Redis Rehash機制的探索和實踐

合規 scene ica exp 符號 梳理 tex idg malloc 背景 Squirrel（松鼠）是美團技術團隊基於Redis Cluster打造的緩存系統。經過不斷的叠代研發，目前已形成一整套自動化運維體系，涵蓋一鍵運維集群、細粒度的監控、支持自動擴縮容以及熱點K

PHP Session的過期機制

<?php // 會話開始 session_start(); // 設定會話的有效期 $expireAfter = 30; // 檢查會話的最後動作時間是否設定 if (isset($_SESSION['last_action'])) { // 從最後動作時間到目前的時間長度

通過Expire實現Redis鎖機制

在我們的業務系統中,可能因為某種原因,使用者會不斷的點選表單提交按鈕,為了較少對系統的 無意義訪問、暴力提交 以及使用者體驗,我們利用redis的過期時間簡單的實現了一種Redis鎖 當用戶提交表單的時候,我們通過對錶單資料以及使用者唯一標識例如userNo進行加密,當做我們快取的唯

python設定redis過期時間

import time import redis if __name__ == "__main__": try: conn=redis.StrictRedis(host='192.168.80.41') conn.set('name','蔣樂哥哥') conn.expire('name',10) #設定鍵的

Redis哨兵機制-sentinel

Redis Sentinel機制與用法說明【轉】 本文來自：https://segmentfault.com/a/1190000002680804 概述 Redis-Sentinel是Redis官方推薦的高可用性(HA)解決方案，當用Redis做Master-slave的高可用方案時，假

Redis鎖機制處理高併發

文章正文   這裡我們主要利用Redis的setnx的命令來處理高併發。 setnx 有兩個引數。第一個引數表示鍵。第二個引數表示值。如果當前鍵不存在，那麼會插入當前鍵，將第二個引數做為值。返回 1。如果當前鍵存在，那麼會返回0。 建立庫存表 CREATE T