五、Redis批量刪除KEY
阿新 • • 發佈:2018-12-28
在資料庫內我們可以通過like
關鍵字、%
、*
或者REGEX
關鍵字進行模糊匹配。而在Redis內我們如何進行模糊匹配呢?叢集情況Redis Cluster
的情況是否和單機一致呢?前段時間我對於這個議題進行了調查和研究。
單節點的情況
- Jedis
參考stackoverflow上的解答
,在Java內使用Jedis
主要有如下2中寫法:
### 方法1 Set<String> keys = jedis.keys(pattern); for (String key : keys) { jedis.del(key); } ### 方法2 Jedis jedis = new Jedis("127.0.0.1"); ScanParams scanParams = new ScanParams(); scanParams.match("prifix*"); scanParams.count(1000); ScanResult<String> result = jedis.scan(0,scanParams); result.getResult().forEach(key -> { jedis.del(key); }); ### 注意scan方法由於某些bug在2.9版本內scan(int,ScanParams)改為了scan(String,ScanParams)。由於cursor的位數,方法有些調整。
- 方法1,通過
keys
命令先尋找到所有符合的key,然後把它們刪除; - 方法2,通過
scan
命令掃描所有符合的key,然後把它們刪除。 -
注意: Redis飾單執行緒模式,全域性掃描的話有可能會導致
Redis
在一段時間內的卡頓情況發生。 -
Redis-cli
redis-cli keys 1.cn*|xargs redis-cli del
Redis Cluster情況
在Redis Cluster情況與單節點多情況完全不太一樣。
- 首先,Redis Cluster是將整個Redis 的hash槽分佈在三臺機器上,要想一下全部掃描出來,顯然是不太現實的。
- Redis內提供
Hash-Tag
,將相類似的鍵放在一臺機器上。可以通過Hash-Tag
進行掃描,可以剪短時間消耗。 - 最後需要考慮,主從叢集節點的情況。
Hash-Tag
Hash-Tag 是用一個花括號將主要的Hash判斷部分擴起來,例如{hello1}key1
、{hello1}key2
。一般Hash-tag
一致的情況,鍵會儲存在叢集的同一臺機器上。在Jedis 2.9版本
提供了這樣的掃描方法。
(PS . rediscluster是沒有keys方法的)
public static void deleteRedisKeyStartWith(String redisKeyStartWith) { try{ jedisCluster.getClusterNodes(); ScanParams scanParams = new ScanParams(); // scanParams.match("{123}keys*"); // scanParams.count(1000); ScanResult<String> result = jedisCluster.scan("0", scanParams); result.getResult().forEach(key -> { jedisCluster.del(key); }); // jedisCluster.del(wrapperKey(redisKeyStartWith)+".*"); log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith); }finally{ } }
土辦法 分別掃描各個hash槽
public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
try {
Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();
for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {
Jedis jedis = entry.getValue().getResource();
// 判斷非從節點(因為若主從複製,從節點會跟隨主節點的變化而變化)
if (!jedis.info("replication").contains("role:slave")) {
Set<String> keys = jedis.keys(redisKeyStartWith + "*");
if (keys.size() > 0) {
Map<Integer, List<String>> map = new HashMap<>();
for (String key : keys) {
// cluster模式執行多key操作的時候,這些key必須在同一個slot上,不然會報:JedisDataException:
// CROSSSLOT Keys in request don't hash to the same slot
int slot = JedisClusterCRC16.getSlot(key);
// 按slot將key分組,相同slot的key一起提交
if (map.containsKey(slot)) {
map.get(slot).add(key);
} else {
map.put(slot, Lists.newArrayList(key));
}
}
for (Map.Entry<Integer, List<String>> integerListEntry : map.entrySet()) {
jedis.del(integerListEntry.getValue().toArray(new String[integerListEntry.getValue().size()])); } } } } log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith); } finally { } }
### 未使用slot批次提交(有可能效率略差於前者)
//獲取jedis連線
private JedisCluster jedisCluster=JedisClusterUtil.getJedisCluster();
//@param pattern 獲取key的字首 全是是 *
public static TreeSet<String> keys(String pattern){
TreeSet<String> keys = new TreeSet<>();
//獲取所有的節點
Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();
//遍歷節點 獲取所有符合條件的KEY
for(String k : clusterNodes.keySet()){
logger.debug("Getting keys from: {}", k);
JedisPool jp = clusterNodes.get(k);
Jedis connection = jp.getResource();
try {
keys.addAll(connection.keys(pattern));
} catch(Exception e){
logger.error("Getting keys error: {}", e);
} finally{
logger.debug("Connection closed.");
connection.close();//用完一定要close這個連結!!!
}
}
logger.debug("Keys gotten!");
return keys;
}
//main方法
public static void main(String[] args ){
TreeSet<String> keys=keys("*");
//遍歷key 進行刪除 可以用多執行緒
for(String key:keys){
jedisCluster.del(key);
System.out.println(key);
}
}