1. 程式人生 > >python celery 模組

python celery 模組

Celery是基於Python開發的一個分散式任務佇列框架,支援使用任務佇列的方式在分佈的機器/程序/執行緒上執行任務排程
python celery 模組
Celery是典型的生產生-消費者模式,主要由三部分組成:broker(訊息佇列)、workers(消費者:處理任務)、backend(儲存結果)


django + celery 實現任務的非同步處理
1.Django Web中從一個http請求發起,到獲得響應返回html頁面的流程大致如下:http請求發起 -- http handling(request解析) -- url mapping(url正則匹配找到對應的View) -- 在View中進行邏輯的處理、資料計算(包括呼叫Model類進行資料庫的增刪改查)--將資料推送到template,返回對應的template/response
同步請求:所有邏輯處理、資料計算任務在View中處理完畢後返回response。在View處理任務時使用者處於等待狀態,直到頁面返回結果
非同步請求:View中先返回response,再在後臺處理任務。使用者無需等待,可以繼續瀏覽網站。當任務處理完成時,我們可以再告知使用者
2.建立訊息佇列
訊息佇列可以使用RabbitMQ、Redis 等
3.安裝django-celery
pip install celery django-celery
4.配置settings.py
import djcelery
djcelery.setup_loader()
BROKER_URL= 'amqp://

[email protected]//'
CELERY_RESULT_BACKEND = 'amqp://[email protected]//'
其中,當djcelery.setup_loader()執行時,Celery便會去檢視INSTALLD_APPS下包含的所有app目錄中的tasks.py檔案,找到標記為task的方法,將它們註冊為celery task
5.在要使用該任務佇列的app根目錄下(比如qv),建立tasks.py
from celery import taskbr/>@task
def test(x,y):
result = int(x) + int(y)
return result

在tasks.py中我們就可以編碼實現我們需要執行的任務邏輯,在開始處import task,然後在要執行的任務方法開頭用上裝飾器@task。需要注意的是,與一般的.py中實現celery不同,tasks.py必須建在各app的根目錄下,且不能隨意命名
6.生產任務
在需要執行該任務的View中,通過test.delay的方式來建立任務,並送入訊息佇列
def produce():
a =1
b =2
r = test.delay(a,b)
7.啟動work
#先啟動伺服器 python manage.py runserver
#再啟動worker python manage.py celery worker -c 4 --loglevel=info