Redis獲取某個字首的key指令碼例項
阿新 • • 發佈:2020-01-09
1.背景
在平時的維護中,經常會遇到要統計某個字首的key有多少,在請求比較多的redis中,keys * 會直接導致阻塞。
可以採用scan的方式進行增量迭代,查詢使用pipeline減少互動,提高效率。
2.scan命令的優缺點
SCAN命令的有SCAN,SSCAN,HSCAN,ZSCAN。
SCAN的話就是遍歷所有的keys
其他的SCAN命令的話是SCAN選中的集合。
SCAN命令是增量的迴圈,每次呼叫只會返回一小部分的元素。所以不會有KEYS命令的坑。
SCAN命令返回的是一個遊標,從0開始遍歷,到0結束遍歷。
scan 0 1) "655" 2) 1) "test1" 2) "test2"
返回值一個array,一個是下次迴圈的cursorId,一個是元素陣列。SCAN命令不能保證每次返回的值都是有序的,另外同一個key有可能返回多次,不做區分,需要應用程式去處理。
另外SCAN命令可以指定COUNT,預設是10。但是這個並不是指定多少,就能返回多少,這只是一個提示,並不能保證一定返回這麼多條。
優點:
- 提供鍵空間的遍歷操作,支援遊標,複雜度O(1),整體遍歷一遍只需要O(N);
- 提供結果模式匹配;
- 支援一次返回的資料條數設定,但僅僅是個hints,有時候返回的會多;
- 弱狀態,所有狀態只需要客戶端需要維護一個遊標;
缺點:
- 無法提供完整的快照遍歷,也就是中間如果有資料修改,可能有些涉及改動的資料遍歷不到;
- 每次返回的資料條數不一定,極度依賴內部實現;
- 返回的資料可能有重複,應用層必須能夠處理重入邏輯;
3. python指令碼的實現
python中有一個封裝的函式scan_iter--檢視所有元素--迭代器
指令碼內容:
#!/usr/bin/env python # -*- coding: UTF-8 -*- #作用:統計某個字首key的個數,並將其輸入到檔案 #使用方法:python scan_redis.py apus* 100 __author__ = "lcl" import sys import redis import os pool=redis.ConnectionPool(host='192.168.225.128',port=6379,db=0) r = redis.StrictRedis(connection_pool=pool) #掃描匹配值,通過sys.argv傳參 match = sys.argv[1] #每次匹配數量 count = sys.argv[2] #print match #print count #總數量 total = 0 #掃描到的key輸出到檔案 path = os.getcwd() #掃描到的key輸出的檔案 txt = path+"/keys.txt" f = open(txt,"w") for key in r.scan_iter(match = match,count = count): # f.write("%s %s" % (key,"\n")) f.write(key+"\n") total = total+1 f.close print "匹配: %s 的數量為:%d " % (match,total)
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對我們的支援。