Airflow 中文文件:排程和觸發器
阿新 • • 發佈:2018-12-03
Airflow排程程式監視所有任務和所有DAG,並觸發已滿足其依賴關係的任務例項。 在幕後,它監視並與其可能包含的所有DAG物件的資料夾保持同步,並定期(每分鐘左右)檢查活動任務以檢視是否可以觸發它們。
Airflow排程程式旨在作為Airflow生產環境中的持久服務執行。 要開始,您需要做的就是執行airflow scheduler
。 它將使用airflow.cfg
指定的配置。
請注意,如果您在一天的schedule_interval
上執行DAG,則會在2016-01-01T23:59
之後不久觸發標記為2016-01-01
的執行。 換句話說,作業例項在其覆蓋的時間段結束後啟動。
讓我們重複一遍
schedule_interval
在開始日期之後,在句點結束時執行您的作業一個schedule_interval
。
排程程式啟動airflow.cfg
指定的執行程式的例項。 如果碰巧是LocalExecutor
,任務將作為子LocalExecutor
執行; 在CeleryExecutor
和MesosExecutor
的情況下,任務是遠端執行的。
要啟動排程程式,只需執行以下命令:
airflow scheduler
DAG執行
DAG Run是一個表示DAG例項化的物件。