1. 程式人生 > >airflow CeleryExecutor模式報錯

airflow CeleryExecutor模式報錯

這幾天執行airflow發現執行的Task總是報錯,並且在頁面上沒有報錯資訊:

檢視Schedule的報錯日誌,沒有什麼頭緒

檢視本地Task執行日誌,沒有對應的檔案。

說明:Task根本沒有執行,執行命令top,發現圖片上的程序有很多。

停止redis後,發現沒有了,但是啟動redis 有重新出現了。

然後在看celery  執行命令 ps -ef|grep celery  有很多的celery 沒有釋放。

 

釋放這些celery後,執行Task正常,

註釋:過多的celery未釋放,是由於Task未執行完,我們手動置狀態導致的,如圖: