pyinstaller安裝和使用
目錄
redis
1 redis簡介
# 1 redis儲存資料是以key-value的方式儲存,value有五種資料型別:string(字串)、list(連結串列)、set(集合)、zset(sorted set --有序集合)和hash(雜湊型別) # 2 redis是非關係型資料庫,也被稱為記憶體資料庫 # 3 redis與Memcached比較: -1 Memcached只支援一種資料型別字串 -2 Memcached不支援持久化(不支援存到硬碟上,只要一斷電,資料就沒了) # 4 使用Redis有哪些好處? (1) 速度快,因為資料存在記憶體中,類似於HashMap,HashMap的優勢就是查詢和操作的時間複雜度都是O(1) (2) 支援豐富資料型別,支援string,list,set,sorted set,hash (3) 支援事務,操作都是原子性,所謂的原子性就是對資料的更改要麼全部執行,要麼全部不執行 (4) 豐富的特性:可用於快取,訊息,按key設定過期時間,過期後將會自動刪除 # 5 redis是單執行緒,單程序,不存在併發訪問的問題(新版本已經不是了) -redis是單執行緒為什麼還這麼快 -資料在記憶體(主要原因) -io多路複用技術 -因為沒有程序,執行緒間的切換 # 6 redis適合的場景 1 排行榜 2 網站訪問量,文章訪問量 3 快取資料庫(用的最多,就是做快取) 4 釋出訂閱 5 去重 6 分散式(blpop) ... # 7 安裝 -Redis-x64-3.2.100.msi 安裝包 -redis-desktop-manager-0.9.3.817.exe 等同於navicate(視覺化介面) # 8 使用 -服務端和客戶端 -redis-server:服務端啟動 redis-server 配置檔案.conf -redis-cli:客戶端連線服務端 redis-cli -h 127.0.0.1 -p 6379
2 redis連結
pip3 install redis
python中連結redis有兩種方式:
普通連結
連結池
2.1 普通連結
from redis import Redis
# 生成連結物件
conn=Redis(host='127.0.0.1', port=6379) # conn=Redis()
conn.set('name','wu')
ret=conn.get('name')
print(ret)
2.2 連結池
注意:
連結池應該為單例模式
# t_redis_pool.py import redis # pool必須是單例的 POOL = redis.ConnectionPool(host='127.0.0.1', port=6379,max_connections=100) # 造一個連結池,最多能存放100個連線 # t_redis_conn.py import redis from t_redis_pool import POOL # 注意:直接執行包內的py檔案時,該檔案的導包不能用點 r = redis.Redis(connection_pool=POOL) # 從池中拿出一個連線 ret=r.get('name') print(ret)
3 String操作
3.1 存入
set(name, value, ex=None, px=None, nx=False, xx=False)
在Redis中設定值,預設,不存在則建立,存在則修改
引數:
ex,過期時間(秒)
px,過期時間(毫秒)
nx,如果設定為True,則只有name不存在時,當前set操作才執行,值存在,就修改不了,執行沒效果
xx,如果設定為True,則只有name存在時,當前set操作才執行,值存在才能修改,值不存在,不會設定新值
setnx(name, value)
設定值,只有name不存在時,執行設定操作(新增),如果存在,不會修改
setex(name, value, time)
# 設定值
# 引數:
# time,過期時間(數字秒 或 timedelta物件)
psetex(name, time_ms, value)
# 設定值
# 引數:
# time_ms,過期時間(數字毫秒 或 timedelta物件
mset(*args, **kwargs)
批量設定值
如:
mset(k1='v1', k2='v2')
或
mget({'k1': 'v1', 'k2': 'v2'})
3.2 獲取
get(name)
獲取值
mget(keys, *args)
批量獲取
如:
mget('k1', 'k2')
或
r.mget(['k3', 'k4'])
getset(name, value)
設定新值並獲取原來的值
getrange(key, start, end)
# 獲取子序列(根據位元組獲取,非字元)
# 引數:
# name,Redis 的 name
# start,起始位置(位元組)
# end,結束位置(位元組)
# 如: "劉清政" ,0-3表示 "劉"
3.3 其他
setrange(name, offset, value)
# 修改字串內容,從指定字串索引開始向後替換(新值太長時,則向後新增)
# 引數:
# offset,字串的索引,位元組(一個漢字三個位元組)
# value,要設定的值
setbit(name, offset, value)
# 對name對應值的二進位制表示的位進行操作
# 引數:
# name,redis的name
# offset,位的索引(將值變換成二進位制後再進行索引)
# value,值只能是 1 或 0
# 注:如果在Redis中有一個對應: n1 = "foo",
那麼字串foo的二進位制表示為:01100110 01101111 01101111
所以,如果執行 setbit('n1', 7, 1),則就會將第7位設定為1,
那麼最終二進位制則變成 01100111 01101111 01101111,即:"goo"
getbit(name, offset)
# 獲取name對應的值的二進位制表示中的某位的值 (0或1)
bitcount(key, start=None, end=None)
# 獲取name對應的值的二進位制表示中 1 的個數
# 引數:
# key,Redis的name
# start,位起始位置
# end,位結束位置
bitop(operation, dest, *keys)
# 獲取多個值,並將值做位運算,將最後的結果儲存至新的name對應的值
# 引數:
# operation,AND(並) 、 OR(或) 、 NOT(非) 、 XOR(異或)
# dest, 新的Redis的name
# *keys,要查詢的Redis的name
# 如:
bitop("AND", 'new_name', 'n1', 'n2', 'n3')
# 獲取Redis中n1,n2,n3對應的值,然後講所有的值做位運算(求並集),然後將結果儲存 new_name 對應的值中
strlen(name)
# 返回name對應值的位元組長度(一個漢字3個位元組)
incr(self, name, amount=1)
# 自增 name對應的值,當name不存在時,則建立name=amount,否則,則自增。
# 引數:
# name,Redis的name
# amount,自增數(必須是整數)
# 注:同incrby
incrbyfloat(self, name, amount=1.0)
# 自增 name對應的值,當name不存在時,則建立name=amount,否則,則自增。
# 引數:
# name,Redis的name
# amount,自增數(浮點型)
decr(self, name, amount=1)
# 自減 name對應的值,當name不存在時,則建立name=amount,否則,則自減。
# 引數:
# name,Redis的name
# amount,自減數(整數)
append(key, value)
# 在redis name對應的值後面追加內容
# 引數:
key, redis的name
value, 要追加的字串
3.4 重點方法總結
set(name, value, ex=None, px=None, nx=False, xx=False)
get(name)
mset(*args, **kwargs)
mget(keys, *args)
incr(self, name, amount=1)
decr(self, name, amount=1)
append(key, value)
4 Hash操作
4.1 常用方法
hset(name, key, value)
# name對應的hash中設定一個鍵值對(不存在,則建立;否則,修改)
# 引數:
# name,redis的name
# key,name對應的hash中的key
# value,name對應的hash中的value
# 注:
# hsetnx(name, key, value),當name對應的hash中不存在當前key時則建立(相當於新增)
hmset(name, mapping)
# 在name對應的hash中批量設定鍵值對
# 引數:
# name,redis的name
# mapping,字典,如:{'k1':'v1', 'k2': 'v2'}
# 如:
# r.hmset('xx', {'k1':'v1', 'k2': 'v2'})
hget(name,key)
# 在name對應的hash中獲取根據key獲取value
hmget(name, keys, *args)
# 在name對應的hash中獲取多個key的值
# 引數:
# name,reids對應的name
# keys,要獲取key集合,如:['k1', 'k2', 'k3']
# *args,要獲取的key,如:k1,k2,k3
# 如:
# r.mget('xx', ['k1', 'k2'])
# 或
# print r.hmget('xx', 'k1', 'k2')
hgetall(name) 不推薦使用
# 獲取name對應hash的所有鍵值
print(re.hgetall('xxx').get(b'name'))
hlen(name)
# 獲取name對應的hash中鍵值對的個數
hkeys(name)
# 獲取name對應的hash中所有的key的值
hvals(name)
# 獲取name對應的hash中所有的value的值
hexists(name, key)
# 檢查name對應的hash是否存在當前傳入的key
hdel(name,*keys)
# 將name對應的hash中指定key的鍵值對刪除
print(re.hdel('xxx','sex','name'))
hincrby(name, key, amount=1)
# 自增name對應的hash中的指定key的值,不存在則建立key=amount
# 引數:
# name,redis中的name
# key, hash對應的key
# amount,自增數(整數)
hincrbyfloat(name, key, amount=1.0)
# 自增name對應的hash中的指定key的值,不存在則建立key=amount
# 引數:
# name,redis中的name
# key, hash對應的key
# amount,自增數(浮點數)
# 自增name對應的hash中的指定key的值,不存在則建立key=amount
hscan(name, cursor=0, match=None, count=None)
# 增量式迭代獲取,對於資料大的資料非常有用,hscan可以實現分片的獲取資料,並非一次性將資料全部獲取完,從而放置記憶體被撐爆
# 引數:
# name,redis的name
# cursor,遊標(基於遊標分批取獲取資料)
# match,匹配指定key,預設None 表示所有的key
# count,每次分片最少獲取個數,預設None表示採用Redis的預設分片個數
# 如:
# 第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
# 第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
# ...
# 直到返回值cursor的值為0時,表示資料已經通過分片獲取完畢
hscan_iter(name, match=None, count=None)
# 利用yield封裝hscan建立生成器,實現分批去redis中獲取資料
# 引數:
# match,匹配指定key,預設None 表示所有的key
# count,每次分片最少獲取個數,預設None表示採用Redis的預設分片個數
# 如:
# for item in r.hscan_iter('xx'):
# print item
4.2 注意點
取出hash型別內所有的資料,不建議用hgetall,建議用hscan_iter
hscan_iter是分批取出,並且得到的是生成器
與f.read(),f.readline()類似
4.3 重點方法總結
hset(name, key, value)
hget(name,key)
hmset(name, mapping)
hmget(name, keys, *args)
hincrby(name, key, amount=1)
hscan_iter(name, match=None, count=None)
hgetall和hscan_iter的區別
5 List操作
5.1 常用方法
lpush(name,values)
# 在name對應的list中新增元素,每個新的元素都新增到列表的最左邊
# 如:
# r.lpush('oo', 11,22,33)
# 儲存順序為: 33,22,11
# 擴充套件:
# rpush(name, values) 表示從右向左操作
lpushx(name,value)
# 在name對應的list中新增元素,只有name已經存在時,值新增到列表的最左邊
# 更多:
# rpushx(name, value) 表示從右向左操作
llen(name)
# name對應的list元素的個數
linsert(name, where, refvalue, value))
# 在name對應的列表的某一個值前或後插入一個新值
# 引數:
# name,redis的name
# where,BEFORE或AFTER(小寫也可以)
# refvalue,標杆值,即:在它前後插入資料(如果存在多個標杆值,以找到的第一個為準)
# value,要插入的資料
r.lset(name, index, value)
# 對name對應的list中的某一個索引位置重新賦值
# 引數:
# name,redis的name
# index,list的索引位置
# value,要設定的值
r.lrem(name, value, num)
# 在name對應的list中刪除指定的值
# 引數:
# name,redis的name
# value,要刪除的值
# num, num=0,刪除列表中所有的指定值;
# num=2,從前到後,刪除2個;
# num=-2,從後向前,刪除2個
lpop(name)
# 在name對應的列表的左側獲取第一個元素並在列表中移除,返回值則是第一個元素
# 更多:
# rpop(name) 表示從右向左操作
lindex(name, index)
在name對應的列表中根據索引獲取列表元素
lrange(name, start, end)
# 在name對應的列表分片獲取資料
# 引數:
# name,redis的name
# start,索引的起始位置
# end,索引結束位置 print(re.lrange('aa',0,re.llen('aa')))
ltrim(name, start, end)
# 在name對應的列表中移除沒有在start-end索引之間的值
# 引數:
# name,redis的name
# start,索引的起始位置
# end,索引結束位置(大於列表長度,則代表不移除任何)
rpoplpush(src, dst)
# 從一個列表取出最右邊的元素,同時將其新增至另一個列表的最左邊
# 引數:
# src,要取資料的列表的name
# dst,要新增資料的列表的name
blpop(keys, timeout)
# 將多個列表排列,按照從左到右去pop對應列表的元素
# 引數:
# keys,redis的name的集合
# timeout,超時時間,當元素所有列表的元素獲取完之後,阻塞等待列表內有資料的時間(秒), 0 表示永遠阻塞
# 更多:
# r.brpop(keys, timeout),從右向左獲取資料爬蟲實現簡單分散式:多個url放到列表裡,往裡不停放URL,程式迴圈取值,但是隻能一臺機器執行取值,可以把url放到redis中,多臺機器從redis中取值,爬取資料,實現簡單分散式
brpoplpush(src, dst, timeout=0)
# 從一個列表的右側移除一個元素並將其新增到另一個列表的左側
# 引數:
# src,取出並要移除元素的列表對應的name
# dst,要插入元素的列表對應的name
# timeout,當src對應的列表中沒有資料時,阻塞等待其有資料的超時時間(秒),0 表示永遠阻塞
自定義增量迭代
# 由於redis類庫中沒有提供對列表元素的增量迭代,如果想要迴圈name對應的列表的所有元素,那麼就需要:
# 1、獲取name對應的所有列表
# 2、迴圈列表
# 但是,如果列表非常大,那麼就有可能在第一步時就將程式的內容撐爆,所有有必要自定義一個增量迭代的功能:
import redis
conn=redis.Redis(host='127.0.0.1',port=6379)
# conn.lpush('test',*[1,2,3,4,45,5,6,7,7,8,43,5,6,768,89,9,65,4,23,54,6757,8,68])
# conn.flushall()
def scan_list(name,count=2):
index=0
while True:
data_list=conn.lrange(name,index,count+index-1)
if not data_list:
return
index+=count
for item in data_list:
yield item
print(conn.lrange('test',0,100))
for item in scan_list('test',5):
print('---')
print(item)
5.2 自定製分批獲取
# 自定製分批取列表的資料
# conn.lpush('test',*[1,2,3,4,45,5,6,7,7,8,43,5,6,768,89,9,65,4,23,54,6757,8,68])
# conn.flushall()
def scan_list(name,count=2):
index=0
while True:
data_list=conn.lrange(name,index,count+index-1)
if not data_list:
return
index+=count
for item in data_list:
yield item
# print(conn.lrange('test',0,100))
for item in scan_list('test',5):
print('---')
print(item)
5.3 重點方法總結
lpush(name,values)
lpop(name)
blpop(keys, timeout)
lrange(name, start, end) # 左閉右閉
llen(name)
6 redsi的其他使用
delete(*names)
# 根據刪除redis中的任意資料型別
exists(name)
# 檢測redis的name是否存在
keys(pattern='*')
# 根據模型獲取redis的name
# 更多:
# KEYS * 匹配資料庫中所有 key 。
# KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
# KEYS h*llo 匹配 hllo 和 heeeeello 等。
# KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo
expire(name ,time)
# 為某個redis的某個name設定超時時間
rename(src, dst)
# 對redis的name重新命名為
move(name, db))
# 將redis的某個值移動到指定的db下
randomkey()
# 隨機獲取一個redis的name(不刪除)
type(name)
# 獲取name對應值的型別
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字串操作,用於增量迭代獲取key
7 set操作
Set操作,Set集合就是不允許重複的列表
sadd(name,values)
# name對應的集合中新增元素
scard(name)
獲取name對應的集合中元素個數
sdiff(keys, *args)
在第一個name對應的集合中且不在其他name對應的集合的元素集合
sdiffstore(dest, keys, *args)
# 獲取第一個name對應的集合中且不在其他name對應的集合,再將其新加入到dest對應的集合中
sinter(keys, *args)
# 獲取多一個name對應集合的並集
sinterstore(dest, keys, *args)
# 獲取多一個name對應集合的並集,再講其加入到dest對應的集合中
sismember(name, value)
# 檢查value是否是name對應的集合的成員
smembers(name)
# 獲取name對應的集合的所有成員
smove(src, dst, value)
# 將某個成員從一個集合中移動到另外一個集合
spop(name)
# 從集合的右側(尾部)移除一個成員,並將其返回
srandmember(name, numbers)
# 從name對應的集合中隨機獲取 numbers 個元素
srem(name, values)
# 在name對應的集合中刪除某些值
srem(name, values)
# 在name對應的集合中刪除某些值
sunion(keys, *args)
# 獲取多一個name對應的集合的並集
sunionstore(dest,keys, *args)
# 獲取多一個name對應的集合的並集,並將結果儲存到dest對應的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字串的操作,用於增量迭代分批獲取元素,避免記憶體消耗太大
有序集合,在集合的基礎上,為每元素排序;元素的排序需要根據另外一個值來進行比較,所以,對於有序集合,每一個元素有兩個值,即:值和分數,分數專門用來做排序。
zadd(name, *args, **kwargs)
# 在name對應的有序集合中新增元素
# 如:
# zadd('zz', 'n1', 1, 'n2', 2)
# 或
# zadd('zz', n1=11, n2=22)
zcard(name)
# 獲取name對應的有序集合元素的數量
zcount(name, min, max)
# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數
zincrby(name, value, amount)
# 自增name對應的有序集合的 name 對應的分數
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引範圍獲取name對應的有序集合的元素
# 引數:
# name,redis的name
# start,有序集合索引起始位置(非分數)
# end,有序集合索引結束位置(非分數)
# desc,排序規則,預設按照分數從小到大排序
# withscores,是否獲取元素的分數,預設只獲取元素的值
# score_cast_func,對分數進行資料轉換的函式
# 更多:
# 從大到小排序
# zrevrange(name, start, end, withscores=False, score_cast_func=float)
# 按照分數範圍獲取name對應的有序集合的元素
# zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
# 從大到小排序
# zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zrank(name, value)
# 獲取某個值在 name對應的有序集合中的排行(從 0 開始)
# 更多:
# zrevrank(name, value),從大到小排序
zrangebylex(name, min, max, start=None, num=None)
# 當有序集合的所有成員都具有相同的分值時,有序集合的元素會根據成員的 值 (lexicographical ordering)來進行排序,而這個命令則可以返回給定的有序集合鍵 key 中, 元素的值介於 min 和 max 之間的成員
# 對集合中的每個成員進行逐個位元組的對比(byte-by-byte compare), 並按照從低到高的順序, 返回排序後的集合成員。 如果兩個字串有一部分內容是相同的話, 那麼命令會認為較長的字串比較短的字串要大
# 引數:
# name,redis的name
# min,左區間(值)。 + 表示正無限; - 表示負無限; ( 表示開區間; [ 則表示閉區間
# min,右區間(值)
# start,對結果進行分片處理,索引位置
# num,對結果進行分片處理,索引後面的num個元素
# 如:
# ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
# r.zrangebylex('myzset', "-", "[ca") 結果為:['aa', 'ba', 'ca']
# 更多:
# 從大到小排序
# zrevrangebylex(name, max, min, start=None, num=None)
zrem(name, values)
# 刪除name對應的有序集合中值是values的成員
# 如:zrem('zz', ['s1', 's2'])
zremrangebyrank(name, min, max)
# 根據排行範圍刪除
zremrangebyscore(name, min, max)
# 根據分數範圍刪除
zremrangebylex(name, min, max)
# 根據值返回刪除
zscore(name, value)
# 獲取name對應有序集合中 value 對應的分數
zinterstore(dest, keys, aggregate=None)
# 獲取兩個有序集合的交集,如果遇到相同值不同分數,則按照aggregate進行操作
# aggregate的值為: SUM MIN MAX
zunionstore(dest, keys, aggregate=None)
# 獲取兩個有序集合的並集,如果遇到相同值不同分數,則按照aggregate進行操作
# aggregate的值為: SUM MIN MAX
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字串相似,相較於字串新增score_cast_func,用來對分數進行操作
8 事務
redis使用管道實現事務
redis-py預設在執行每次請求都會建立(連線池申請連線)和斷開(歸還連線池)一次連線操作,如果想要在一次請求中指定多個命令,則可以使用pipline實現一次請求指定多個命令,並且預設情況下一次pipline 是原子性操作。
# redis支援事務,使用管道實現事務
import redis
pool = redis.ConnectionPool(host='127.0.0.1', port=6379)
conn = redis.Redis(connection_pool=pool)
pipe = conn.pipeline(transaction=True)
pipe.multi()
pipe.set('name', 'alex') # 把操作提交到管道
pipe.set('role', 'sb')
pipe.execute() # 執行管道內的所有操作
9 Django中使用redis
9.1 方式一
utils資料夾下,建立redis_pool.py
import redis
POOL = redis.ConnectionPool(host='127.0.0.1', port=6379,password='1234',max_connections=1000)
檢視函式中使用:
import redis
from django.shortcuts import render,HttpResponse
from utils.redis_pool import POOL
def index(request):
conn = redis.Redis(connection_pool=POOL)
conn.hset('kkk','age',18)
return HttpResponse('設定成功')
def order(request):
conn = redis.Redis(connection_pool=POOL)
conn.hget('kkk','age')
return HttpResponse('獲取成功')
9.2 方式二
安裝django-redis模組
pip3 install django-redis
# 在django專案的settings中進行redis配置
CACHES = {
"default": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
"CONNECTION_POOL_KWARGS": {"max_connections": 100}
# "PASSWORD": "123",
}
}
}
檢視函式:
1 使用cache
from django.core.cache import cache
cache.set('name',user)
2 直接使用conn物件
from django_redis import get_redis_connection
conn = get_redis_connection('default')
print(conn.hgetall('xxx'))
10 介面快取
# 首頁輪播圖資料快取到redis中
def list(self, request, *args, **kwargs):
# response=super().list(request, *args, **kwargs)
# 把data的資料加快取
# 1 先去快取拿資料
banner_list=cache.get('banner_list')
if not banner_list:
print('走資料庫了')
# 快取中沒有,去資料庫拿
response = super().list(request, *args, **kwargs)
# 加到快取
cache.set('banner_list',response.data,60*60*24)
return response
return Response(data=banner_list)