前言

眾所周知，redis裡面的大key存在是非常危險的一件事情。因為最近的工作轉移到中介軟體相關的工作，因此關注了一下bigkey的掃描方法。首先介紹一下阿里雲提供的掃描指令碼：

具體可見：https://yq.aliyun.com/articles/117042?t=t1

我對這個指令碼進行了一個壓力測試，在redis的記憶體為15G，key的數量為2KW，ops為40K到80K之間，在這種情況下，阿里雲的指令碼完全不能跑成功(估計跑出來的時間以天為單位)，主要原因是每確認一個key的情況，就需要與redis互動多次。因此，我對它的指令碼進行了改造，加入了pipeline和debug object方法，指令碼如下：

import sys
import redis
 
 
def find_big_key_normal(db_host,db_port,db_password,db_num):
 client = redis.StrictRedis(host=db_host,port=db_port,password=db_password,db=db_num)
 i=0
 temp = client.scan(cursor=i,count=1000)
 j =0
 while temp[0]>0 :
 i=temp[0]
 j=j+len(temp[1])
 try:
  r = client.pipeline(transaction=False)
  for k in temp[1]:
  r.debug_object(k)
  tempA = r.execute()
  x = 0
  for key in tempA:
  length = key.get("serializedlength")
  ##type = key.get("encoding")
  if length > 10240 :
   type = client.type(temp[1][x])
   print temp[1][x],type,length
  x=x+1
 except :
  print "a execption come"
 temp = client.scan(cursor=i,count=1000)
 
 
if __name__ == '__main__':
 if len(sys.argv) != 4:
  print 'Usage: python ',sys.argv[0],' host port password '
  exit(1)
 db_host = sys.argv[1]
 db_port = sys.argv[2]
 db_password = sys.argv[3]
 r = redis.StrictRedis(host=db_host,port=int(db_port),password=db_password)
 nodecount = 1
 keyspace_info = r.info("keyspace")
 for db in keyspace_info:
 print 'check ',db,' ',keyspace_info[db]
 find_big_key_normal(db_host,db.replace("db",""))

我對上面的指令碼同樣進行了一個壓力測試，在redis的記憶體為15G，key的數量為2KW，ops為40K到80K之間，在這種情況下：

指令碼10分鐘跑完，完全可用。

說明：阿里雲的指令碼是支援cluster的，我這個指令碼是隻支援單機的，大家有興趣的可以自己去更改。

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對我們的支援。