1. 程式人生 > >Airflow 中文文件:排程和觸發器

Airflow 中文文件:排程和觸發器

Airflow排程程式監視所有任務和所有DAG,並觸發已滿足其依賴關係的任務例項。 在幕後,它監視並與其可能包含的所有DAG物件的資料夾保持同步,並定期(每分鐘左右)檢查活動任務以檢視是否可以觸發它們。

Airflow排程程式旨在作為Airflow生產環境中的持久服務執行。 要開始,您需要做的就是執行airflow scheduler 。 它將使用airflow.cfg指定的配置。

請注意,如果您在一天的schedule_interval上執行DAG,則會在2016-01-01T23:59之後不久觸發標記為2016-01-01的執行。 換句話說,作業例項在其覆蓋的時間段結束後啟動。

讓我們重複一遍

排程schedule_interval在開始日期之後,在句點結束時執行您的作業一個schedule_interval

排程程式啟動airflow.cfg指定的執行程式的例項。 如果碰巧是LocalExecutor ,任務將作為子LocalExecutor執行; 在CeleryExecutorMesosExecutor的情況下,任務是遠端執行的。

要啟動排程程式,只需執行以下命令:

 airflow scheduler

DAG執行

DAG Run是一個表示DAG例項化的物件。

閱讀全文/改進本文