阿里雲檔案上傳與刪除
技術標籤：pythonRedis分散式redis資料庫python爬蟲分散式
redis是一個基於記憶體的高效的鍵值型非關係資料庫，接下來我們就來看看這些操作是如何具體使用的吧
資料庫連線操作
from redis import StrictRedis #資料庫連線方式 因為就算我自己使用的，所有沒有設定密碼 redis=StrictRedis(host='localhost',port=6379,db=0,password=None) #redis.set('age',20) print(redis.get('name')) print(redis.exists('name')) #是否存在name這個鍵 print(redis.type('name')) #判斷name的型別 print(redis.keys('n*')) #獲取所有以n開頭的鍵 print(redis.randomkey()) #獲取隨機一個鍵 print(redis.dbsize()) #獲取當前資料庫中的鍵的數目
結果如下：
接下來看字串操作：
from redis import StrictRedis,ConnectionPool #另一種連線方式 pool=ConnectionPool(host='localhost',port=6379,db=0,password=None) redis=StrictRedis(connection_pool=pool) #redis.set('name','Bob') print(redis.get('name')) #print(redis.getset('name','Mike')) #賦值name為Mike並返回上一次的value print(redis.mget(['name','age'])) #輸出name鍵和age鍵的value #print(redis.setnx('newname','james')) #如果鍵值不存在，則賦值 #print(redis.mset({'name1':'smith','name2':'curry'})) #批量賦值 #print(redis.msetnx({'name3':'ltf','name4':'lsq'})) #不存在才批量賦值 #print(redis.incr('age',1)) #age對應的value 加1 #print(redis.decr('age',5)) #age對應的value 減5 #print(redis.append('name4','is a sb')) #在name4的value後追加 is a sb 返回字串長度 print(redis.substr('name',1,4)) #擷取鍵 name print(redis.getrange('name',0,-1)) #擷取鍵 name
結果如下：
接下來看列表操作
from redis import StrictRedis redis=StrictRedis(host='localhost',port=6379,db=0,password=None) #print(redis.rpush('list',1,2,3)) #向鍵名為list的列表尾部新增1,2,3 返回長度 #print(redis.lpush('list',0)) #向鍵名為list的列表頭部新增0 返回長度 print(redis.llen('list')) #返回列表的長度 print(redis.lrange('list',1,3)) #返回起始索引為1 終止索引為3的索引範圍對應的列表 print(redis.lindex('list',1)) #返回索引為1的元素-value #print(redis.lset('list',1,5)) #將list的列表索引為1的重新賦值為5 #print(redis.lpop('list')) #刪除list第一個元素 #print(redis.rpop('list')) #刪除list最後一個元素 #print(redis.blpop('list')) #刪除list第一個元素 #print(redis.brpop('list')) #刪除最後一個元素 print(redis.rpoplpush('list','list1')) #刪除list的尾元素並將其新增到list1的頭部
執行結果如下：
接下來看集合操作：
from redis import StrictRedis,ConnectionPool
pool=ConnectionPool(host='localhost',port=6379,db=0,password=None)
redis=StrictRedis(connection_pool=pool)
#print(redis.sadd('tags','Book','Tea','Coffee')) #返回集合長度 3
#print(redis.srem('tags','Book')) 返回刪除的資料個數
#print(redis.spop('tags')) #隨機刪除並返回該元素
#print(redis.smove('tags','tags1','Coffee'))
print(redis.scard('tags')) #獲取tags集合的元素個數
print(redis.sismember('tags','Book')) #判斷Book是否在tags的集合中
print(redis.sinter('tags','tags1')) #返回集合tags和集合tags1的交集
print(redis.sunion('tags','tags1')) #返回集合tags和集合tags1的並集
print(redis.sdiff('tags','tags1')) #返回集合tags和集合tags1的差集
print(redis.smembers('tags')) #返回集合tags的所有元素
print(redis.srandmember('tags')) #返回tags的一個隨機元素執行結果如下：
接下來看雜湊表操作：
from redis import StrictRedis,ConnectionPool
pool=ConnectionPool(host='localhost',port=6379,db=0,password=None)
redis=StrictRedis(connection_pool=pool)
#print(redis.hset('price','cake',5)) # 向鍵名為price的散列表新增對映關係，返回1 即新增的對映個數
#print(redis.hsetnx('price','book',6)) # 向鍵名為price的散列表新增對映關係，返回1 即新增的對映個數
print(redis.hget('price','cake')) #獲取鍵名為cake的值 返回5
#print(redis.hmset('price',{'banana':2,'apple':3,'pear':6,'orange':7})) #批量新增對映
print(redis.hmget('price',['apple','orange'])) #查詢apple和orange的值 輸出 b'3',b'7'
#print(redis.hincrby('price','apple',3)) #apple對映加3 為6
print(redis.hexists('price','banana')) #在price中banana是否存在 返回True
#print(redis.hdel('price','banana')) #從price中刪除banana 返回1
print(redis.hlen('price')) #輸出price的長度
print(redis.hkeys('price')) #輸出所有的對映鍵名
print(redis.hvals('price')) #輸出所有的對映鍵值
print(redis.hgetall('price')) #輸出所有的對映鍵對執行結果如下：
Python 操作redis有序集合(sorted set)
#coding:utf8
import redis
r =redis.Redis(host="23.226.74.190",port=63279,password="66666666666")注意：
python操作redis報錯：redis.exceptions.DataError: ZADD allows either 'nx' or 'xx', not both解決方案
一、問題描述
sorted set操作執行：print(connect.zadd('grade', 'bob', 98, 'mike' ,100))時報錯redis.exceptions.DataError: ZADD allows either 'nx' or 'xx', not both
二、出現該問題原因
上面的connect.zadd('key','value1','score1','value2','score2')寫法是redis-py 3.0之前的版本
在redis-py 3.0版本之後，寫法變為：connect.zadd('grade', {'bob':100, 'mike':99, 'lucy':87})這種寫法了，所以會報錯
三、解決方案
更改寫法為：connect.zadd('key',{'value1':'score1','value2':'scote2',.....})
1.Zadd
Zadd 命令用於將一個或多個成員元素及其分數值加入到有序集當中。
如果某個成員已經是有序集的成員，那麼更新這個成員的分數值，並通過重新插入這個成員元素，來保證該成員在正確的位置上。
分數值可以是整數值或雙精度浮點數。
如果有序集合 key 不存在，則建立一個空的有序集並執行 ZADD 操作。
當 key 存在但不是有序集型別時，返回一個錯誤。
print r.zadd("1","1",2,"3",3) #輸出的結果是2
print r.zadd("1","2",2) #輸出的結果是1
print r.zadd("1","1",1) #輸出的結果是0
print r.zadd("1","3",4) #輸出的結果是0
print r.zrange("1",0,-1) #輸出的結果是 ['1', '2', '3']2.Zcard
Zcard 命令用於計算集合中元素的數量。
當 key 存在且是有序集型別時，返回有序集的基數。 當 key 不存在時，返回 0 。
print r.zadd("1","1",1,"3",3) #輸出的結果是2
print r.zadd("1","2",2) #輸出的結果是1
print r.zadd("1","2",4) #輸出的結果是1
print r.zcard(1) #輸出的結果是3
print r.zcard(2) #輸出的結果是03.Zcount
Zcount 命令用於計算有序集合中指定分數區間的成員數量。分數值在 min 和 max 之間的成員的數量。
print r.zadd("2","1",1,"3",3) #輸出的結果是2
print r.zadd("2","2",2) #輸出的結果是1
print r.zadd("2","1",4) #輸出的結果是0
print r.zcount("2",min=0,max=5) #輸出的結果是3
print r.zcount("2",min=0,max=3) #輸出的結果是2
print r.zcount("2",min=1,max=3) #輸出的結果是24.Zincrby
Zincrby 命令對有序集合中指定成員的分數加上增量 increment
可以通過傳遞一個負數值 increment ，讓分數減去相應的值，比如 ZINCRBY key -5 member ，就是讓 member 的 score 值減去 5 。
當 key 不存在，或分數不是 key 的成員時， ZINCRBY key increment member 等同於 ZADD key increment member 。
當 key 不是有序集型別時，返回一個錯誤。
分數值可以是整數值或雙精度浮點數。
member 成員的新分數值，以字串形式表示。
print r.zadd("4","1",1,"2",2,"3",3,"4",4) #輸出的結果是4
print r.zincrby(name=4,value=1,amount=5) #輸出的結果是6.0
print r.zincrby(name=4,value=2,amount=55) #輸出的結果是57.0
print r.zrange(name=4,start=0,end=-1,withscores=False) #輸出的結果是['1', '3', '2', '4']5.Zinterstore
Zinterstore命令計算給定的一個或多個有序集的交集，其中給定 key 的數量必須以 numkeys 引數指定，並將該交集(結果集)儲存到 destination。 預設情況下，結果集中某個成員的分數值是所有給定集下該成員分數值之和。
print r.zadd("41", "a1", 6, "a2", 2,"a3",5) #輸出的結果是3
print r.zadd('42', a1=7,b1=10, b2=5) #輸出的結果是3
# 獲取兩個有序集合的交集並放入dest集合，如果遇到相同值不同分數，則按照aggregate進行操作
# aggregate的值為: SUM MIN MAX
print r.zinterstore("43",("42","41"),aggregate="MAX") #輸出的結果是4
print(r.zscan("43")) #輸出的結果是(0L, [('a1', 7.0)])6.Zlexcount
Zlexcount 命令在計算有序集合中指定字典區間內成員數量。
print r.zadd("6", "a", 1, "b", 2,"c",3) #輸出的結果是3
print r.zlexcount(name=6,min="-",max="+") #輸出的結果是3
print r.zadd("6", "e", 4, "f", 5,"d",6) #輸出的結果是3
print r.zlexcount(name=6,min="-",max="+") #輸出的結果是6
print r.zlexcount(name=6,min="[a",max="[b") #輸出的結果是2
print r.zlexcount(name=6,min="[a",max="[f") #輸出的結果是6
print r.zlexcount(name=6,min="[a",max="[e") #輸出的結果是47.Zrange
Zrange 返回有序集中，指定區間內的成員。
其中成員的位置按分數值遞增(從小到大)來排序。
具有相同分數值的成員按字典序(lexicographical order )來排列。
如果你需要成員按值遞減(從大到小)來排列，請使用 ZREVRANGE 命令。
下標引數 start 和 stop 都以 0 為底，也就是說，以 0 表示有序集第一個成員，以 1 表示有序集第二個成員，以此類推。
你也可以使用負數下標，以 -1 表示最後一個成員， -2 表示倒數第二個成員，以此類推。
print r.zadd("7", "1", 1, "2", 2,"3",3,"4",4,"5",5) #輸出的結果是5
print r.zrange("7",start=0,end=-1,desc=False) #輸出的結果是['1', '2', '3', '4', '5']
print r.zrange("7",start=0,end=2,desc=False) #輸出的結果是['1', '2', '3']8. Zrangebylex
Zrangebylex 通過字典區間返回有序集合的成員。
當有序集合的所有成員都具有相同的分值時，有序集合的元素會根據成員的 值 （lexicographical ordering）來進行排序，而這個命令則可以返回給定的有序集合鍵 key 中， 元素的值介於 min 和 max 之間的成員
對集合中的每個成員進行逐個位元組的對比（byte-by-byte compare）， 並按照從低到高的順序， 返回排序後的集合成員。 如果兩個字串有一部分內容是相同的話， 那麼命令會認為較長的字串比較短的字串要大
print r.zadd("8", "a", 1, "b", 2,"c",3) #輸出的結果是3
print r.zrangebylex(name="8",min="-",max="[c") #輸出的結果是 ['a', 'b', 'c']
print r.zrangebylex(name="8",min="-",max="(c") #輸出的結果是 ['a', 'b']
print r.zadd("8", "e", 4, "f", 5,"d",6) #輸出的結果是3
print r.zrangebylex(name=8,min="[b",max="[f") #輸出的結果是 ['b', 'c', 'e', 'f', 'd']
print r.zrangebylex(name=8,min="(b",max="[f") #輸出的結果是 ['c', 'e', 'f', 'd']9.Zrangebyscore
Zrangebyscore返回有序集合中指定分數區間的成員列表。
有序整合員按分數值遞增(從小到大)次序排列。 具有相同分數值的成員按字典序來排列(該屬性是有序集提供的，不需要額外的計算)。 預設情況下，區間的取值使用閉區間 (小於等於或大於等於)，你也可以通過給引數前增加 ( 符號來使用可選的開區間 (小於或大於)。
print r.zadd("9", "a", 1, "b", 2,"c",3) #輸出的結果是3
print r.zrangebyscore("9","1","6") #輸出的結果是['a', 'b', 'c']
print r.zadd("9", "c", 11, "d", 21,"e",32) #輸出的結果是3
print r.zrangebyscore("9","3","16") #輸出的結果是['c']
print r.zrangebyscore("9","3","36") #輸出的結果是['c', 'd', 'e']10.Zrank
Zrank返回有序集中指定成員的排名。其中有序整合員按分數值遞增(從小到大)順序排列。
如果成員是有序集 key 的成員，返回 member 的排名。 如果成員不是有序集 key 的成員，返回 None 。
print r.zadd("10", "a", 1, "b", 2, "c", 3) # 輸出的結果是3
print r.zadd("10", "f", 11, "d", 21,"e",32) #輸出的結果是3
print r.zrank("10","a") #輸出的結果是0
print r.zrank("10","b") #輸出的結果是1
print r.zrank("10","e") #輸出的結果是5
print r.zrank("10","d") #輸出的結果是4
print r.zrank("10","h") #輸出的結果是None11. Zrem
Zrem 命令用於移除有序集中的一個或多個成員，不存在的成員將被忽略。
當 key 存在但不是有序集型別時，返回一個錯誤。
print r.zadd("11", "a", 1, "b", 2, "c", 3) # 輸出的結果是3
print r.zadd("11", "f", 11, "d", 21,"e",32) #輸出的結果是3
print r.zrem("11","a") #輸出的結果是1
print r.zrem("11","f") #輸出的結果是1
print r.zrem("11","h") #輸出的結果是0
print r.zrange("11",start=0,end=32) #輸出的結果是['b', 'c', 'd', 'e'], 其中 a f 已經移除掉
print r.zrange("11",start=2,end=32) #輸出的結果是['d', 'e'], 其中 a f 已經移除掉，d e 沒有被包涵12.Zremrangebylex
Zremrangebylex 命令用於移除有序集合中給定的字典區間的所有成員。
被成功移除的成員的數量，不包括被忽略的成員。
print r.zadd("12", "a", 1, "b", 2, "c", 3) # 輸出的結果是3
print r.zadd("12", "d", 11, "e", 21,"f",32) #輸出的結果是3
print r.zremrangebylex("12",min="[a",max="[c") #輸出的結果是3
print r.zrange("12",0,-1) #輸出的結果是 ['d', 'e', 'f'] 因為 a，b，c已經被移除13. Zremrangebyrank
Zremrangebyrank 命令用於移除有序集中，指定排名(rank)區間內的所有成員。
# print r.zadd("13", "a", 1, "b", 2, "c", 3) # 輸出的結果是3
# print r.zadd("13", "d", 8, "e", 21,"f",32) #輸出的結果是3
# print r.zremrangebyrank(name=13,min=1,max=3) #輸出的結果是3
# print r.zrange("13","0","-1") #輸出的結果是['a', 'e', 'f'] 因為刪除了 b，c，d14.Zremrangebyscore
Zremrangebyscore 命令用於移除有序集中，指定分數（score）區間內的所有成員。
print r.zadd("14", "a", 1, "b", 2, "c", 3) #輸出的結果是3
print r.zadd("14", "d", 8, "e", 21,"f",32) #輸出的結果是3
print r.zremrangebyscore(name="14",min="1",max="8") #輸出的結果是4,刪除的a，b，c，d
print r.zrange(name="14",start=0,end=-1) #輸出的結果是 ['e', 'f']15.Zrevrange
Zrevrange 命令返回有序集中，指定區間內的成員。
其中成員的位置按分數值遞減(從大到小)來排列。
具有相同分數值的成員按字典序的逆序(reverse lexicographical order)排列。
除了成員按分數值遞減的次序排列這一點外， ZREVRANGE 命令的其他方面和 ZRANGE 命令一樣。
print r.zadd("15", "a", 1, "b", 2, "c", 3) #輸出的結果是3
print r.zadd("15", "d", 8, "e", 21,"f",32) #輸出的結果是3
print r.zrevrange(name="15",start=0,end=-1) #輸出的結果是['f', 'e', 'd', 'c', 'b', 'a']
print r.zrevrange(name="15",start=1,end=21) #輸出的結果是['e', 'd', 'c', 'b', 'a']
print r.zrevrange(name="15",start=3,end=21) #輸出的結果是['c', 'b', 'a']16.Zrevrangebyscore
Zrevrangebyscore返回有序集中指定分數區間內的所有的成員。有序整合員按分數值遞減(從大到小)的次序排列。
具有相同分數值的成員按字典序的逆序(reverse lexicographical order )排列。
除了成員按分數值遞減的次序排列這一點外， ZREVRANGEBYSCORE 命令的其他方面和 ZRANGEBYSCORE 命令一樣。
print r.zadd("16", "a", 1, "b", 2, "c", 3) #輸出的結果是3
print r.zadd("16", "d", 8, "e", 21,"f",32) #輸出的結果是3
print r.zrevrangebyscore(name="16",max=33,min=0) #輸出的結果是['f', 'e', 'd', 'c', 'b', 'a']
print r.zrevrangebyscore(name="16",max=20,min=2) #輸出的結果是['d', 'c', 'b']17. Zrevrank
Zrevrank命令返回有序集中成員的排名。其中有序整合員按分數值遞減(從大到小)排序。
排名以 0 為底，也就是說， 分數值最大的成員排名為 0 。
使用 ZRANK 命令可以獲得成員按分數值遞增(從小到大)排列的排名。
print r.zadd("17", "a", 1, "b", 2, "c", 3) #輸出的結果是3
print r.zadd("17", "d", 4, "e", 5,"f",6) #輸出的結果是3
print r.zrevrank(name=17,value="a") #輸出的結果是5
print r.zrevrank(name=17,value="c") #輸出的結果是3
print r.zrevrank(name=17,value="d") #輸出的結果是2
print r.zrevrank(name=17,value="h") #輸出的結果是None18.Zscore
Zscore 命令返回有序集中，成員的分數值。 如果成員元素不是有序集 key 的成員，或 key 不存在，返回 None 。
print r.zadd("18", "a", 1, "b", 2, "c", 3) #輸出的結果是3
print r.zadd("18", "d", 4, "e", 5,"f",6) #輸出的結果是3
print r.zscore(name="18",value="a") #輸出的結果是1.0
print r.zscore(name="18",value="c") #輸出的結果是3.0
print r.zscore(name="18",value="f") #輸出的結果是6.0
print r.zscore(name="18",value="h") #輸出的結果是None19.Zunionstore
Zunionstore 命令計算給定的一個或多個有序集的並集，其中給定 key 的數量必須以 numkeys 引數指定，並將該並集(結果集)儲存到 destination 。
預設情況下，結果集中某個成員的分數值是所有給定集下該成員分數值之和 。
儲存到 destination 的結果集的成員數量。
20.Zscan
Zscan 命令用於迭代有序集合中的元素（包括元素成員和元素分值）返回的每個元素都是一個有序集合元素，一個有序集合元素由一個成員（member）和一個分值（score）組成。
print r.zadd("20", "a", 1, "b", 2, "c", 3) #輸出的結果是3
print r.zscan(name="20") #輸出的結果是(0L, [('a', 1.0), ('b', 2.0), ('c', 3.0)])
print r.zadd("20", "d", 4, "e", 5,"f",3) #輸出的結果是3
print r.zscan(name="20") #輸出的結果是 (0L, [('a', 1.0), ('b', 2.0), ('c', 3.0), ('f', 3.0), ('d', 4.0), ('e', 5.0)])