2. 程式人生 > >redis資料庫佇列（list），集合（set）元素設定類似過期（expire）功能

redis資料庫佇列（list），集合（set）元素設定類似過期（expire）功能

阿新 • • 發佈：2019-01-09

**（2018-07-23更新：
本案例使用的解決方案以及程式碼，在較大資料量的操作情境下存在嚴重redis效能問題——大集合的一次性刪除操作可能導致redis阻塞，正常業務將無法訪問、操作redis。如果需要使用相關功能，請使用資料中的1方法或自行優化redis刪除佇列操作的執行時間）**

問題：

專案需要為每個使用者維護一個列表，存放一些資料。列表中的值有過期時間，過期的值查詢可以找到也可以找不到，還會有一個驗證，所以無所謂。但是redis佇列只有一個整體的過期功能，沒有每個元素的單獨過期功能，所以如果使用者一直不停向佇列塞東西，佇列就會變的越來越大。這顯然不合理。

資料：

查了一下資料，目前給佇列、集合元素單獨設定過期不可能做到（redis4.0.2）。但是有其他方法可以做到類似功能。

參考的一篇文章提出兩種方法：

1.使用SortedSet，使用score引數代表unix時間，程式定期使用ZRANGEBYSCORE清除過期項

2.將集合拆分成多個按時間排序、自動過期的小集合

1方法顯然更方便、高效，但是專案必須跑程式為每個集合定期維護，可能產生很多不必要的麻煩，所以我選擇2解決方法。

解決方案：

（重要的話說三遍：這個解決方案中過期的值有可能被返回，過期的值有可能被返回，過期的值有可能被返回。如果需要返回確定不過期的值，請在value中加unix時間作驗證）

使用一個工具類封裝redis操作，自動進行redis集合的拆分和查詢。直接上程式碼：

必須獲得redis讀、寫、設定過期、查詢key是否存在 函式

expire表示過期時間（秒）； blockSize表示分塊大小（秒），不能大於expire

package com.study.javaweb.test1.utils;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * User: longjuanfeng Date: 2017-11-29
 */
public class RedisAutoExpireUtils<ValueType, SetResponse> {
    private Logger logger = LoggerFactory.getLogger(RedisAutoExpireUtils.class);

    private
 
 RedisSetter<ValueType, SetResponse> redisSetter;

    private RedisGetter<ValueType> redisGetter;

    private RedisExpire redisExpire;

    private RedisExists redisExists;

    private Integer expire;

    //default size is expire
    private Integer blockSize;

    public RedisAutoExpireUtils(RedisSetter<ValueType, SetResponse> redisSetter, RedisGetter<ValueType> redisGetter, RedisExpire redisExpire, RedisExists redisExists, Integer expire) throws Exception {
        this(redisSetter, redisGetter, redisExpire, redisExists, expire, expire);
    }

    public RedisAutoExpireUtils(RedisSetter<ValueType, SetResponse> redisSetter, RedisGetter<ValueType> redisGetter, RedisExpire redisExpire, RedisExists redisExists, Integer expire, Integer blockSize) throws Exception {
        if (blockSize > expire) {
            throw new Exception("blockSize should not larger than expire");
        }
        this.redisSetter = redisSetter;
        this.redisGetter = redisGetter;
        this.redisExpire = redisExpire;
        this.redisExists = redisExists;
        this.expire = expire;
        this.blockSize = blockSize;
    }

    public SetResponse setRedisValue(String key, ValueType value) {
        Integer nowTime = new Long(System.currentTimeMillis() / 1000).intValue();
        Integer blockTail = nowTime % blockSize;
        Integer stampPos = nowTime - blockTail;
        String timeStamp = String.valueOf(stampPos);
        logger.info("timeStamp of {} is {}", nowTime, timeStamp);
        String keyWithStamp = key + ":" + timeStamp;
        Boolean exists = redisExists.exists(keyWithStamp) == 1;
        SetResponse result = redisSetter.addValue(keyWithStamp, value);
        if (!exists) {
            Integer expireTime = expire + blockSize - blockTail;
            redisExpire.setExpire(keyWithStamp, expireTime);
            logger.info("set expire of {} is {}", nowTime, expireTime);
        }
        return result;
    }

    public ValueType getRedisValue(String key) {
        Integer nowTime = new Long(System.currentTimeMillis() / 1000).intValue();
        Integer checkBlockNum = expire / blockSize + 1;
        Integer blockTail = nowTime % blockSize;
        Integer stampPos = nowTime - blockTail;
        for (int i = 0; i < checkBlockNum; i++) {
            String timeStamp = String.valueOf(stampPos);
            logger.info("check timeStamp of {} is {}", nowTime, timeStamp);
            String keyWithStamp = key + ":" + timeStamp;
            ValueType value = redisGetter.getValue(keyWithStamp);
            if (value != null) {
                logger.info("find value at timeStamp of {}", timeStamp);
                return value;
            }
            stampPos = stampPos - blockSize;
        }
        return null;
    }

    @FunctionalInterface
    public interface RedisSetter<ValueType, SetResponse> {
        SetResponse addValue(String key, ValueType value);
    }

    @FunctionalInterface
    public interface RedisGetter<ValueType> {
        ValueType getValue(String key);
    }

    @FunctionalInterface
    public interface RedisExpire {
        void setExpire(String key, Integer expire);
    }

    @FunctionalInterface
    public interface RedisExists {
        Integer exists(String key);
    }
}

使用方法
redisTestRepository是一個讀寫redis功能類

package com.study.javaweb.test1.repository;

import com.study.javaweb.test1.BaseTest;
import com.study.javaweb.test1.utils.RedisAutoExpireUtils;
import org.junit.Test;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;

/**
 * User: longjuanfeng Date: 2017-11-28
 */
public class RedisTest extends BaseTest {
    private Logger logger = LoggerFactory.getLogger(getClass());

    @Autowired
    private RedisTestRepository redisTestRepository;

    @Test
    public void redisAutoExpireUtilsTest1() throws Exception {
        Integer fixedExpireTime = 20;
        String testKey = "redisUtilTest1";
        RedisAutoExpireUtils<String, Long> redisAutoExpireUtils = new RedisAutoExpireUtils<>(redisTestRepository::setAdd, redisTestRepository::setGet, redisTestRepository::setExpire, key -> redisTestRepository.checkExists(key) ? 1 : 0, fixedExpireTime, fixedExpireTime / 3);

        redisAutoExpireUtils.setRedisValue(testKey, "12233");
        redisAutoExpireUtils.setRedisValue(testKey, "12234");

        Thread.sleep(10000);
        redisAutoExpireUtils.setRedisValue(testKey, "12235");
        redisAutoExpireUtils.setRedisValue(testKey, "12236");

        String result = redisAutoExpireUtils.getRedisValue(testKey);
        logger.info("get pop data of {} : {}", testKey, result);


        Thread.sleep(5000);
        result = redisAutoExpireUtils.getRedisValue(testKey);
        logger.info("get pop data of {} : {}", testKey, result);
        result = redisAutoExpireUtils.getRedisValue(testKey);
        logger.info("get pop data of {} : {}", testKey, result);

        Thread.sleep(7000);
        result = redisAutoExpireUtils.getRedisValue(testKey);
        logger.info("get pop data of {} : {}", testKey, result);
    }
}

執行結果

[18:24:10:294] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.setRedisValue(RedisAutoExpireUtils.java:70) - timeStamp of 1511951050 is 1511951046
[18:24:10:883] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.setRedisValue(RedisAutoExpireUtils.java:77) - set expire of 1511951050 is 22
[18:24:10:884] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.setRedisValue(RedisAutoExpireUtils.java:70) - timeStamp of 1511951050 is 1511951046
[18:24:20:886] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.setRedisValue(RedisAutoExpireUtils.java:70) - timeStamp of 1511951060 is 1511951058
[18:24:20:887] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.setRedisValue(RedisAutoExpireUtils.java:77) - set expire of 1511951060 is 24
[18:24:20:889] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.setRedisValue(RedisAutoExpireUtils.java:70) - timeStamp of 1511951060 is 1511951058
[18:24:20:890] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951060 is 1511951058
[18:24:20:894] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:93) - find value at timeStamp of 1511951058
[18:24:20:896] [INFO] - com.study.javaweb.test1.repository.RedisTest.redisAutoExpireUtilsTest1(RedisTest.java:36) - get pop data of redisUtilTest1 : 12236
[18:24:25:897] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951065 is 1511951064
[18:24:25:899] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951065 is 1511951058
[18:24:25:901] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:93) - find value at timeStamp of 1511951058
[18:24:25:903] [INFO] - com.study.javaweb.test1.repository.RedisTest.redisAutoExpireUtilsTest1(RedisTest.java:44) - get pop data of redisUtilTest1 : 12235
[18:24:25:904] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951065 is 1511951064
[18:24:25:907] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951065 is 1511951058
[18:24:25:909] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951065 is 1511951052
[18:24:25:910] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951065 is 1511951046
[18:24:25:911] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:93) - find value at timeStamp of 1511951046
[18:24:25:912] [INFO] - com.study.javaweb.test1.repository.RedisTest.redisAutoExpireUtilsTest1(RedisTest.java:46) - get pop data of redisUtilTest1 : 12234
[18:24:32:913] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951072 is 1511951070
[18:24:32:914] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951072 is 1511951064
[18:24:32:915] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951072 is 1511951058
[18:24:32:916] [INFO] - com.study.javaweb.test1.utils.RedisAutoExpireUtils.getRedisValue(RedisAutoExpireUtils.java:89) - check timeStamp of 1511951072 is 1511951052
[18:24:32:917] [INFO] - com.study.javaweb.test1.repository.RedisTest.redisAutoExpireUtilsTest1(RedisTest.java:54) - get pop data of redisUtilTest1 : null

與預期一致

設計思路：
將整個時間線切分成block，用每個block頭的time stamp作為redis的key，單獨設定過期。查詢時，查多個block。
redis util分塊

待解決的問題：
blockSize過大，會導致應過期資料堆積，當blockSize = expire時，redis最多需要額外儲存100%的資料。如果redis空間緊張，應該適當減小blockSize
blockSize過小，會導致redis讀取次數增多，redis讀取平均增加 expire/（blockSize*2） 次，如果redis訪問太慢應該適當增加blockSize

blockSize很小時可以考慮用multi加快訪問速度

Hash存取同理

相關推薦

redis資料庫佇列（list），集合（set）元素設定類似過期（expire）功能

**（2018-07-23更新： 本案例使用的解決方案以及程式碼，在較大資料量的操作情境下存在嚴重redis效能問題——大集合的一次性刪除操作可能導致redis阻塞，正常業務將無法訪問、操作redis。如果需要使用相關功能，請使用資料中的1方法或自行優化red

java常用集合類詳解（有例子，集合類糊塗的來看！）

TreeSet：TreeSet是依靠TreeMap來實現的.TreeSet是一個有序集合,TreeSet中元素將按照升序排列,預設是按照自然排序進行排列,意味著TreeSet中元素要實現Comparable介面.我們可以在構造TreeSet物件時,傳遞實現了Comparator介面的比較器物件.java.ut

Python入門學習筆記————08（list函式，元組）

#傳值與傳地址的區別 #對於簡單的數值，採用傳值的操作，即在函式內的操作不影響外面的變數 #對複雜的變數，採用傳遞地址的操作，此時進行的操作即是對函式本身的操作 ​ def a(n): n[2]=300 print(n) return None

java操作redis資料庫二：list集合

package com.redis; import java.util.List; import redis.clients.jedis.Jedis; /**  * 這個是redis對list的操作  * 其操作主要以L開頭  * @author Administrator

.Net將集合M內非空引數值的引數按照引數名ASCII碼從小到大排序（字典序），並使用URL鍵值對的格式（即key1=value1&key2=value2…）拼接成字串stringA

前言： 　　 前段時間因為專案進度比較繁重所以一直都沒有時間更新部落格，內心深深的負重感，沒有履行年初立下的flag。不過這個月會把上個月沒有完成的任務補上來，咱們可不是喜歡拖欠任務的攻城獅。哈哈，廢話不多說，接下來是要總結下關於對接支付時我們經常會遇到的將對應集合中的引數按照ASCII碼按照從小到大排序，

java集合系列——Set之HashSet和TreeSet介紹（十）

最大 ... gpo 鏈表 key 同步 中大 nds set接口 一.Set的簡介Set是一個不包含重復元素的 collection。更確切地講，set 不包含滿足 e1.equals(e2) 的元素。對 e1 和 e2，並且最多包含一個為 null 的元素。 Set的類

陣列（隨機生成一維陣列），二維陣列的概念和題目設計（利用二維陣列 ：任意給定分數去計算科目和人均平均分）

1 //陣列間的關係arr[]中的數字為幾，[]內就有幾個數 2 //{ }內的數是從0開始，如需要列印應從0開數 3 如{2,6,9,8,7}列印arr[4]就是7 4 #include <stdio.h> 5 #include <stdlib.h> 6 int

Bootstrap模態框（modal），並新增帶複選框的表格（table），還可做提示框、檔案選擇框等，很實用！

      Bootstrap中的模態框外掛以彈出對話方塊的形式出現，具有最小和最實用的功能集，主要的是使用起來很靈活！有以下幾個特性：（1）不支援同時開啟多個模態框；（2）務必將模態框的 HTML 程式碼放在文件的最高層級內（也就是說，儘量作為 body 標籤的直接子元素）

接上篇：將OneDrive雲盤掛載到我的電腦！（1024快樂，明年我應該也可以過這個節日了！）

今天對程式猿來說是個值得紀念的日子！祝程式設計師小哥哥小姐姐們今天可以早早下班，回家休息，Bug走開！ 接上篇，將自己申請的5T雲盤掛載到我的電腦！ 第一步：掛網下載Raidrive 附上鍊接： 官網下載的應該都是最新版的，我的電腦不知道什麼問題，對最新版的不感冒，所以我是下載的稍老一點的版本！ 如果你們的

前端演算法：給定一個數組，寫一個函式將所有0的移動到它的末尾，同時保持非零元素的相對順序（移動零）

給定一個數組nums，寫一個函式將所有0的移動到它的末尾，同時保持非零元素的相對順序。 例： 輸入： [0,1,0,3,12] 輸出： [1,3,12,0,0] 注意： 您必須在不製作陣列副本的情況下就地執行此操作。 最小化操作總數。 <script>

關於MAC OS下UE（UltraEdit），執行Python除錯結果的設定

1.開啟選單項“工具”下的“工具配置” 2.按如下圖設定，命令列中找到自己的python版本，後面加上%n%e 3.工具配置下，輸出選擇捕獲輸出，輸出處理選擇輸出至輸出視窗,最後確認即可 4.工具下出現對應的執行選項即可 5.點選剛剛新增的“RunPy

【已解決】Ipad 1代-隨意下載應用軟體（此方法，同樣適用於IOS 5.1.1的Iphone手機）

手裡一個16GB的Ipad 1代，10寸的屏，電池等都很耐用，曾經的經典平板，然而卻因為蘋果對IOS 5這些低版本不再支援，所以下載應用成了大問題！ 當時想著給京東回收吧，誰知他孃的才給130，這簡直是糟蹋東西，一氣之下決定自己再試試，結果還真的弄好了，各種應用隨便下。 P

華為路由交換交換綜合實驗（包含 Hybrid， MAC VLAN、三層路由及單臂路由）

lsw1 實驗配置： [lsw1]dis cu sysname lsw1 vlan batch 10 20 30 40 110 120 199 dhcp enable #（這裡是三層交換的配置，可以替換成單臂路由的配置，見最後） interface Vlani

從無到有構建大型電商微服務架構（一），eclipse構建springcloud消費者方引起的問題（Caused by: java.lang.NoClassDefFoundError: feign/Feign$Builder）

1 2018-12-31 14:28:38.180 INFO 37860 --- [ main] s.c.a.AnnotationConfigApplicationContext : Refreshing org.spring[email protected]a9cd3

iOS－UITextView設定行間距，內容顏色（變相設定類似UITextField的placeholder）

1.在用UITextView的時候一直很苦惱placeholder的設定，最開始是通過新增label，後來覺得麻煩，就通過UITextView本身的一些特性來進行模擬。 2.UITextView的行間距設定方法網上很容易搜的到，但是運用中卻發現直接設定根本不行

ubuntu下tensorflow-gpu環境搭建（通過anaconda，需預先手動安裝(或環境含有)cuda和cudnn）

第一步 創造一份conda環境 conda create -n tensorflow python=3.6 第二步 啟用tensorflow環境 source activa

第 0001 題：做為 Apple Store App 獨立開發者，你要搞限時促銷，為你的應用生成啟用碼（或者優惠券），使用 Python 如何生成 200 個啟用碼（或者優惠券）？

第 0001 題：做為 Apple Store App 獨立開發者，你要搞限時促銷，為你的應用生成啟用碼（或者優惠券），使用 Python 如何生成 200 個啟用碼（或者優惠券）？ 知識點： 1、range生成隨機數 2、int型別轉換成char型別用chr() 函式

AoboSir.com（胖爺，4年後見！ --- 2016年9月8日）

ROS 機器人作業系統 ROS（機器人作業系統，Robot Operating System），是專為機器人軟體開發所設計出來的一套電腦作業系統架構。提供一系列程式庫和工具以幫助軟體開發者建立機器人應用軟體。

一個棧，只提供push,pop,top,empty四種操作（這四種操作就是C++標準裡的操作），對該棧的元素進行排序

#include<stack> #include<stdio.h> #include<stdlib.h> using namespace std; stack<

求m個元素集合中n個元素的所有子集（C/OC）

演算法分析 假設有個集合擁有m個元素，任意的從集合中取出n個元素，則這n個元素所形成的可能子集有那些？  假設有5個元素的集點，取出3個元素的可能子集如下： {1 2 3}、{1 2 4 }、{1 2 5}、{1 3 4}、{1 3 5}、{1 4 5}、{2 3 4}、{