2. 程式人生 > 其它 >Celery非同步任務框架(簡單使用)

Celery非同步任務框架(簡單使用)

阿新 • • 發佈：2021-07-09

一：簡介

1.Celery是什麼

Celery是一個簡單、靈活且可靠的，處理大量訊息的分散式系統 專注於實時處理的非同步任務佇列 同時也支援任務排程

Celery 官網：http://www.celeryproject.org/

Celery 官方文件英文版：http://docs.celeryproject.org/en/latest/index.html

Celery 官方文件中文版：http://docs.jinkan.org/docs/celery/

PS：Celery在Windows系統上會出現不相容的情況

2.Celery非同步任務框架

1.可以不依賴任何伺服器，通過自身命令，啟動服務(內部支援socket)
2.
 
celery服務為為其他專案服務提供非同步解決任務需求的

注：會有兩個服務同時執行，一個是專案服務，一個是celery服務，專案服務將需要非同步處理的任務交給celery服務，celery就會在需要時非同步完成專案的需求


人是一個獨立執行的服務 | 醫院也是一個獨立執行的服務

	正常情況下，人可以完成所有健康情況的動作，不需要醫院的參與；但當人生病時，就會被醫院接收，解決人生病問題

	人生病的處理方案交給醫院來解決，所有人不生病時，醫院獨立執行，人生病時，醫院就來解決人生病的需求

3.Celery架構

Celery的架構由三部分組成，訊息中介軟體（message broker）、任務執行單元（worker）和 任務執行結果儲存（task result store）組成

訊息中介軟體

Celery本身不提供訊息服務，但是可以方便的和第三方提供的訊息中介軟體整合。包括，RabbitMQ, Redis等等

任務執行單元

Worker是Celery提供的任務執行的單元，worker併發的執行在分散式的系統節點中。

任務結果儲存

Task result store用來儲存Worker執行的任務的結果，Celery支援以不同方式儲存任務的結果，包括AMQP, redis等

使用場景

非同步執行：解決耗時任務,將耗時操作任務提交給Celery去非同步執行，比如傳送簡訊/郵件、訊息推送、音視訊處理等等

延遲執行：解決延遲任務


定時執行：解決週期(週期)任務,比如每天資料統計

二：Celery的安裝和使用

pip install celery

訊息中介軟體：RabbitMQ/Redis

app=Celery(‘任務名’, broker=’xxx’, backend=’xxx’)

兩種celery任務結構：提倡用包管理，結構清晰

# 如果 Celery物件:Celery(...) 是放在一個模組下的
# 1）終端切換到該模組所在資料夾位置：scripts
# 2）執行啟動worker的命令：celery worker -A 模組名 -l info -P eventlet
# 注：windows系統需要eventlet支援，Linux與MacOS直接執行：celery worker -A 模組名 -l info
# 注：模組名隨意

# 如果 Celery物件:Celery(...) 是放在一個包下的

# 1）必須在這個包下建一個celery.py的檔案，將Celery(...)產生物件的語句放在該檔案中

# 2）執行啟動worker的命令：celery worker -A 包名 -l info -P eventlet

# 注：windows系統需要eventlet支援，Linux與MacOS直接執行：celery worker -A 模組名 -l info

# 注：包名隨意

windows上啟動celery正常，執行任務時報錯

Traceback (most recent call last):
  File "c:\users\circle\appdata\local\programs\python\python37-32\lib\site-packages\billiard\pool.py", line 358, in workloop
    result = (True, prepare_result(fun(*args, **kwargs)))
  File "c:\users\circle\appdata\local\programs\python\python37-32\lib\site-packages\celery\app\trace.py", line 546, in _fast_trace_task
    tasks, accept, hostname = _loc
ValueError: not enough values to unpack (expected 3, got 0)

解決辦法

安裝 pip install eventlet
重新輸入如下名命令
# celery_task是包名,包下必須要有一個叫celery的檔案
celery worker -A celery_task -l info -P eventlet

方式一：在一個資料夾內的三個頁面

worker執行頁面
import celery

# broker儲存的位置

broker = 'redis://127.0.0.1:6379/1'

# backend儲存的位置

backend ='redis://127.0.0.1:6379/2'


# 例項化的celery物件

app=celery.Celery(name,broker=broker,backend=backend)


# 需要新增的任務

@app.task

defadd(x,y):

print(x*y)

return x+y
broker提交任務的頁面
from celery_test import add
# 執行這個檔案，就是把這個任務新增到資料庫中，只要worker在工作
# 就會把這個任務從資料庫1中拿出來執行，並把結果放到資料庫2中
ret = add.delay(3,4)
# ret 是這個任務的uuid，用於獲取任務結果
backend獲取任務結果的頁面
from celery_test import app

from celery.result import AsyncResult

# 任務物件的唯一標識：uuid

id = '19dc2faa-39f9-47b6-af77-e9d3a4d05d2e'

if name == 'main':

async1 = AsyncResult(id=id, app=app)

if async1.successful():

result = async1.get()

print(result)

elif async1.failed():

print('任務失敗')

elif async1.status == 'PENDING':

print('任務等待中被執行')

elif async1.status == 'RETRY':

print('任務異常後正在重試')

elif async1.status == 'STARTED':

print('任務已經開始被執行')

方式二：worker單獨做一個專案檔案，新增任務和獲取結果分離出來（執行非同步任務）

建立一個celery專案（包），內部必須含有名字為celery的py檔案，在內部建立celery物件

celery.py
import celery

broker = 'redis://127.0.0.1:6379/1'

backend ='redis://127.0.0.1:6379/2'


app=celery.Celery(name,broker=broker,backend=backend,include=['celery_task.task1','celery_task.task2'])
編寫需要新增的任務也在這個包內，可建立不同的任務檔案，可新增多個
task1.py
from .celery import app

@app.task

defadd(x,y):

print(x,y)

return x+y

執行延遲任務

新增任務頁面
# 執行延遲任務就是多個一個時間引數
# 這裡注意，時間引數是根據utc時間，並不是中國時間

from datetime import datetime, timedelta

# 時間物件必須和時間物件相加

eta=datetime.utcnow() + timedelta(seconds=10)

add.apply_async(args=(200, 50), eta=eta)

新增定時任務

celery頁面
# 時區
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False

# 任務的定時配置

from datetime import timedelta

from celery.schedules import crontab

app.conf.beat_schedule = {

'low-task': {

'task': 'celery_task.tasks.low',

'schedule': timedelta(seconds=3),

# 'schedule': crontab(hour=8, day_of_week=1),  # 每週一早八點

'args': (300, 150),

}

}


# 定時任務的新增必須要新啟動一個beat命令去工作

# celery beat -A celery_task -l info

三：Django中使用Celery

1.celery.py

# 載入django配置環境
import os
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
# 例項化Celery，獲取worker物件，include新增可處理的任務函式
from celery import Celery
broker = 'redis://127.0.0.1:6379/0'  # 資料儲存位置
backend = 'redis://127.0.0.1:6379/1' # 返回值儲存位置
app = Celery(__name__, broker=broker, backend=None, include=['celery_task.tasks'])

# 時區

app.conf.timezone = 'Asia/shanghai'

# 是否使用utc時間

app.conf.enable_utc = False


# 任務的定時配置

from datetime import timedelta

from celery.schedules import crontab


app.conf.beat_schedule = {

'update-banner-list': {

'task': 'celery_task.tasks.update_banner_list',

'schedule': timedelta(seconds=5),

'args': (),

}

}

2.task.py

from .celery import app
from django.core.cache import cache
from django.conf import settings
from home import serializer, models

@app.task

defupdate_banner_list():

queryset = models.Banner.objects.filter(is_delete=False, is_show=True).order_by('-display_order')[:settings.BANNER_COUNT]

ser = serializer.BannerModelSerializer(instance=queryset, many=True)

banner_list = ser.data

for banner in banner_list:

banner['banner_url'] = 'http://127.0.0.1:8000%s' % banner['banner_url']

cache.set('banner_list', banner_list, 606024)

return True

相關推薦

Celery非同步任務框架(簡單使用)

一：簡介 1.Celery是什麼 Celery是一個簡單、靈活且可靠的，處理大量訊息的分散式系統 專注於實時處理的非同步任務佇列 同時也支援任務排程

Celery非同步任務框架

一、Celery非同步任務框架 Celery是一個非同步任務框架，並且是一個簡單、靈活可靠的，處理大量訊息的分散式系統

Celery 分散式非同步任務框架

一、什麼是celery Celery是一個簡單、靈活且可靠的，處理大量訊息的分散式系統，專注於實時處理的非同步任務佇列，同時也支援任務排程。主要是執行 非同步任務 和 定時任務 。

[Celery分散式的非同步任務框架]

[Celery分散式的非同步任務框架] Celery介紹 Celery:分散式的非同步任務框架 Celery是一個簡單、靈活且可靠的，處理大量訊息的分散式系統，專注於實時處理的非同步任務佇列，同時也支援任務排程

celery非同步分散式框架使用二（定時任務）

一、簡介 　　celery beat 是一個排程程式；它定期啟動任務，然後由叢集中的可用節點執行任務。

Python Celery非同步任務佇列使用方法解析

Celery是一個非同步的任務佇列(也叫做分散式任務佇列),一個簡單，靈活，可靠的分散式系統，用於處理大量訊息，同時為操作提供維護此類系統所需要的工具。

Django celery非同步任務實現程式碼示例

最近專案中用到celery很多，Django快速接入celery，這裡給份教程。 準備 pip安裝celery、flower、eventlet

celery非同步任務

celery非同步任務 1.安裝相關包 與 管理命令 pip3 install Django==2.0.4 pip3 install celery==4.3.0

python3中celery非同步框架簡單使用+守護程序方式啟動

安裝celery sudo pip install celery 例項化 celery from celery import Celery app = Celery(\"testapp\")

python基於celery實現非同步任務週期任務定時任務

這篇文章主要介紹了python基於celery實現非同步任務週期任務定時任務,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

通過celery非同步處理一個查詢任務的完整程式碼

今天介紹通過celery實現一個非同步任務。有這樣一個需求，前端發起一個查詢的請求，但是發起查詢後，查詢可能不會立即返回結果。這時候，發起查詢後，後端可以把這次查詢當作一個task，並立即返回一個能唯一表明該ta

python使用celery實現非同步任務執行的例子

使用celery在django專案中實現非同步傳送簡訊 在專案的目錄下建立celery_tasks用於儲存celery非同步任務。

使用celery和Django處理非同步任務的流程分析

介紹 我們可能需要一些可以安排一些任務並定期執行一些任務或非同步處理長任務的東西，而這一切都可以通過在Django Project中使用Celery來實現。

Django使用Celery加redis執行非同步任務的例項內容

簡單使用 安裝celery及redis 定義celery任務 專案下新建tasks.py from celery import Celery # 建立一個Celery類的例項物件

django + celery + channels.websocket 非同步任務

Ubuntu 安裝Redisredis-5.0.3 服務端 python 安裝 pip install redis==2.10.6 在寫celery非同步任務時，注意匯入Django的配置環境

後臺程式在處理繁重的任務時，呼叫外部程式非同步執行的簡單實現

在Web應用的開發中，不論是網站還是服務介面，我們可能會遇到來自客戶端的某個請求，而這請求的背後，隱藏著要執行的大量的繁重任務，如果我們在後臺程式中，同步的進行處理，那麼程式執行時間比較久，使用者體驗是糟

非同步任務 ---- django-celery

大家的知道celery的使用，網上也有很多的教程。因為最近在使用django來完成專案，無意間發現發現有個東西叫django-celery，比celery的配置更加的簡單，這裡分享一下。

非同步任務----django-celery

大家的知道celery的使用，網上也有很多的教程。因為最近在使用django來完成專案，無意間發現發現有個東西叫django-celery，比celery的配置更加的簡單，這裡分享一下。

非同步任務-----django-celery

非同步任務 ---- django-celery 大家的知道celery的使用，網上也有很多的教程。因為最近在使用django來完成專案，無意間發現發現有個東西叫django-celery，比celery的配置更加的簡單，這裡分享一下。

非同步任務 --- django-celery

大家的知道celery的使用，網上也有很多的教程。因為最近在使用django來完成專案，無意間發現發現有個東西叫django-celery，比celery的配置更加的簡單，這裡分享一下。