Redis與Celery基礎
阿新 • • 發佈：2020-07-27
目錄
一 Redis基礎
1.1 Redis安裝
#1 key-value的儲存方式， value有很多資料型別：5大：string(字串)、list(連結串列)、set(集合)、zset(sorted set --有序集合)和hash（雜湊型別 #2 非關係型記憶體資料庫 #3 與Memcached比較： -1 Memcached只支援一種資料型別:字串 -2 Memcached不支援持久化（不支援存到硬碟上，只要一斷電，資料就沒了） # 4 使用Redis有哪些好處？ (1) 速度快，因為資料存在記憶體中，類似於HashMap，HashMap的優勢就是查詢和操作的時間複雜度都是O(1) (2) 支援豐富資料型別，支援string，list，set，sorted set，hash (3) 支援事務，操作都是原子性，所謂的原子性就是對資料的更改要麼全部執行，要麼全部不執行 (4) 豐富的特性：可用於快取，訊息，按key設定過期時間，過期後將會自動刪除 # 5 單執行緒，單程序，不存在併發訪問的問題（新版本已經不是了） -單執行緒為什麼這麼快 -資料在記憶體（最重要的） -io多路複用技術 -因為沒有程序，執行緒間的切換 # 6 redis適合的場景 1 排行榜 2 網站訪問量，文章訪問量 3 快取資料庫（用的最多，就是做快取） 4 釋出訂閱 5 去重 6 分散式（簡單的訊息佇列blpop） # 7 安裝 -Redis-x64-3.2.100.msi 安裝包 -redis-desktop-manager-0.9.3.817.exe 等同於navicate # 8 使用 -服務端和客戶端 -安裝完，服務端自動啟動：redis-server 配置檔案.conf -redis-cli ：客戶端連線服務端(redis-cli -h 127.0.0.1 -p 6379)
1.2 Python操作Redis之普通連線
# 1 pip3 install redis
# 簡單使用
from redis import Redis
# conn=Redis()
#連線物件
conn=Redis(host='127.0.0.1', port=6379)
ret=conn.get('name')
1.3 Python操作Redis之連線池
#redis連線池,redis 的QPS能達到10w import redis POOL = redis.ConnectionPool(host='127.0.0.1', port=6379,max_connections=100) # 造一個池子,最多能放100個連線,pool必須是單例的,這裡使用導包的方式實現 import redis #包內的py檔案，如果想右鍵執行，導包的時候不能帶點 from t_redis_pool import POOL r = redis.Redis(connection_pool=POOL) # 只要執行這一句話，就是從池中拿出一個連線 ret=r.get('name')
1.4 Redis操作String
1 set的用法 conn.set('height',180) #基本使用 conn.set('height','190',nx=True) conn.set('height','190',xx=True) conn.set('height1','190',xx=True) ''' ex，過期時間（秒） px，過期時間（毫秒） nx，(撿漏)如果設定為True，則只有name不存在時，當前set操作才執行,值存在，就修改不了，執行沒效果 xx，(更新)如果設定為True，則只有name存在時，當前set操作才執行，值存在才能修改，值不存在，不會設定新值 ''' 2 set組合用法(沒什麼實際作用) setnx(name, value) 設定值，只有name不存在時，執行設定操作（新增）,如果存在，不會修改 setex(name, value, time) 設定值 引數： time，過期時間（數字秒 或 timedelta物件） psetex(name, time_ms, value) 設定值 引數： time_ms，過期時間（數字毫秒 或 timedelta物件 #mset 依次設定多個減少io操作 conn.mset({'name1':'11','name3':'dasfd'}) ret=conn.mget(['name1','name','name3']) ret=conn.getset('name1', '999') #取完再設定 ret=conn.getrange('name1',0,0) # 前閉後閉區間,取一部分防止一次去的太多 ret=conn.setrange('name1',1,88888) ret=conn.getbit('name1',9) incr ：統計網站訪問量，頁面訪問量，介面訪問量 conn.incr('name1') # 只要一執行，數字加1 decr conn.incr('name1',-2) conn.decr('name1',3) conn.append('name1','oo') conn.incr('name1') 數字不能和字串相加 #重點： set :很多引數 get mset mget incr decr append
1.5 Redis操作Hash(字典)
# hash操作
單個操作
conn.hset('hash1','name','lqz444') # key不可以重複，
前三個引數分別是:字典名,字典的一個key,字典的一個value
ret=conn.hget('hash1','name') #只能取一個
多個操作
conn.hmset('hash2',{'key1':'value1','key2':'value2'})
ret=conn.hmget('hash1','name','name2')
ret=conn.hmget('hash1',['name','name2'])
其他操作
ret=conn.hgetall('hash1') # 儘量少用
ret=conn.hlen('hash1')
ret=conn.hkeys('hash1')
ret=conn.hexists('hash1','name1')
ret=conn.hdel('hash1','name')
重要操作
ret=conn.hincrby('hash1','name') 執行一次name的值加一
# 取出hash型別內所有的資料，不建議用hgetall，建議用hscan_iter
# 一次性先取一部分回來（假設有1w條，先取回100條，把這100條做成了生成器）
ret=conn.hscan_iter('hash1')
for i in ret:
print(i)
重點總結
hset
hget
hmset
hmget
hincrby
hscan_iter
1.6 Redis操作List(列表)
增
ret=conn.lpush('list1',1,2,3,4,5) 一次取出從左邊放入
ret=conn.rpush('list1',999)
ret=conn.lpushx('list2',1) 有才放,沒有就不放
ret=conn.linsert('list1','before','3','77777777') 在某個值前插入
ret=conn.linsert('list1','after','3','66666666')
ret=conn.lset('list1',3,'22222') #從0開始計數,在某位置前插入
ret=conn.lset('list1',0,'11111')
ret=conn.llen('list1') 測長度
刪
ret=conn.lrem('list1',2,'5') # 從前往後刪除兩個值'5'
ret=conn.lrem('list1',-1,'5') # 從後往前刪除1個5
ret=conn.lrem('list1',0,'5') # 刪除所有5
ret=conn.lpop('list1') 從左側彈出一個
ret=conn.rpop('list1')
重點block,阻塞,是一個簡單的訊息佇列,可以寫一個超時時間
ret=conn.blpop('list1',timeout=10)
沒有值就一直等著,timeout設定等待時間
ret=conn.ltrim('list1',1,2) 移除不在區間的值
取
ret=conn.lindex('list1',0) 取出某個索引位置的值
ret=conn.lrange('list1',0,2) # 前閉後閉,切片取
# 自定製分批取列表的資料
#lpush只接受一個個的引數,如果傳一個列表需要用*打散
conn.lpush('test',*[1,2,3,4,45,5,6,7,7,8,43,5,6,768,89,9,65,4,23,54,6757,8,68])
def scan_list(name,count=2):
index=0
while True:
data_list=conn.lrange(name,index,count+index-1)
if not data_list:
return
index+=count
for item in data_list:
yield item
使用:
for item in scan_list('test',5):
print('---')
print(item)
#雖然也是全部取出結果,但是使用了yield生成器大大的節省了記憶體空間
# 重點
lpush
lpop
blpop
lrange
llen
1.7 redsi的其他使用
# 其他操作
conn.delete('list1')
ret=conn.exists('hash2')
ret=conn.keys('cache*') #查詢以cache開頭的所有key
ret=conn.expire('hash2',2) 設定過期時間
ret=conn.type('name3') 檢視key對應的型別
1.8 管道(Redis事務的支援方式)
一般情況非關係型資料庫都不支援事務,Redis通過管道的方式來支援事務
conn = redis.Redis(connection_pool=pool)
pipe = conn.pipeline(transaction=True)
pipe.multi()
pipe.set('name', 'alex')
pipe.set('role', 'sb')
pipe.execute() # 這句話，才真正的去執行
1.9 Django使用Redis
# 方式一（通用方式）
任何框架都可以使用的方式,自己寫包匯入,一系列操作
# 方式二：django-redis,別人封裝好的直接對應Django的快取系統
-pip install django-redis
-setting中配置
CACHES = {
"default": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
"CONNECTION_POOL_KWARGS": {"max_connections": 100}
# "PASSWORD": "123",
}
}
}
使用兩種方式:
1 使用cache,django-redis重寫了和cash類一毛一樣的方法,在setting中替換了之後,就直接操作Redis了,操作更簡便不用關係資料型別
from django.core.cache import cache
cache.set('name',user)
2 直接使用conn物件,操作方法更多更靈活,需要考慮資料型別選擇對應的方法
from django_redis import get_redis_connection
conn = get_redis_connection('default')
print(conn.hgetall('xxx'))
1.9.1介面快取實戰
# 首頁輪播圖資料快取到redis中
def list(self, request, *args, **kwargs):
# response=super().list(request, *args, **kwargs)
# 把data的資料加快取
# 1 先去快取拿資料
banner_list=cache.get('banner_list')
if not banner_list:
# 快取中沒有，去資料庫拿
response = super().list(request, *args, **kwargs)
# 加到快取
cache.set('banner_list',response.data,60*60*24)
return response
#這個response就是一個Response產生的物件可以直接返回
return Response(data=banner_list)
二 Celery基礎
# 1 Celery是一個非同步任務框架，執行非同步任務，執行延遲任務，執行定時任務
框架由3部分組成
broker任務佇列(一個訊息佇列)
worker任務處理器(去任務佇列拿去任務處理,結果放到結果佇列中)
backend結果佇列(一個訊息佇列)
# 2 安裝
-pip install celery
2.1 基本結構,在同一個包下新增任務
#1,得到celery物件
只寫一個py檔案，內容如下celery_task.py：
from celery import Celery
broker='redis://127.0.0.1:6379/1' #Redis的路由協議
backend='redis://127.0.0.1:6379/2' # 結構儲存，執行完的結果存在這
app = Celery(__name__,broker=broker,backend=backend)
@app.task
def addfunc(x,y):
print(x,y)
return x+y
#2 cd對對應資料夾下用命令啟動celery
windows平臺:
pip install eventlet
celery worker -A cele -l info -P eventlet
非windows:
celery worker -A celery_task -l info
# 3 新增任務,必須在同一個資料夾下
from celery_task import add
# add(3,4) # 直接執行，不會被新增到broker中
ret=add.delay(5,4) #想broker中新增一個任務
print(ret)
# 4 檢視任務執行結果
from celery_task import app
from celery.result import AsyncResult
id = '3e397fd7-e0c1-4c5c-999c-2655a96793bb'
if __name__ == '__main__':
async = AsyncResult(id=id, app=app)
if async.successful():
result = async.get()
print(result)
elif async.failed():
print('任務失敗')
elif async.status == 'PENDING':
print('任務等待中被執行')
elif async.status == 'RETRY':
print('任務異常後正在重試')
elif async.status == 'STARTED':
print('任務已經開始被執行')
2.2 包結構,在不同包下新增任務
#1 新建一個包，叫celery_task
-celery_task
-__init__.py
-celery.py
-task1.py
-task2.py
# 2 celery.py 名字必須叫celery
from celery import Celery
broker='redis://127.0.0.1:6379/1' #broker任務佇列
backend='redis://127.0.0.1:6379/2'# 結構儲存，執行完的結果存在這
app=Celery(__name__,broker=broker,backend=backend,include=['celery_task.task1','celery_task.task2']) 管理任務,否則會報錯任務沒註冊
# 3 任務寫在其他py檔案內
task1.py
from .celery import app
@app.task
def add(x,y):
print(x,y)
return x+y
task2.py
from .celery import app
@app.task
def mutile(x,y):
print(x,y)
return x*y
# 4 新增任務（非同步任務，延遲任務）
from celery_task.task1 import add
from celery_task.task2 import mutile
# 提交非同步
ret=add.delay(6,7)
print(ret) # 2d4ad592-9548-4c7c-8df4-7f8583e8a1b1
# 提交延遲任務
from datetime import datetime, timedelta
# 需要utc時間
eta=datetime.utcnow() + timedelta(seconds=10)
ret=add.apply_async(args=(240, 50), eta=eta)
print(ret)
# 6獲取結果同上
2.2.1 執行定時任務
#1 celery.py
from celery import Celery
broker='redis://127.0.0.1:6379/1' #broker任務佇列
backend='redis://127.0.0.1:6379/2' # 結構儲存，執行完的結果存在這
app=Celery(__name__,broker=broker,backend=backend,include=['celery_task.task1','celery_task.task2'])
# 執行定時任務
# 時區
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False
# 任務的定時配置
from datetime import timedelta
from celery.schedules import crontab
app.conf.beat_schedule = {
'add-task': {
'task': 'celery_task.task1.add',
# 'schedule': timedelta(seconds=3),
'schedule': crontab(hour=8, day_of_week=1), # 每週一早八點
'args': (300, 150),
}
}
# 2 啟動worker，啟動beat
-celery worker -A celery_task -l info -P eventlet
-celery beat -A celery_task -l info