Airflow 中文文件：使用操作器

阿新 • • 發佈：2018-11-29

操作器代表一個理想情況下是冪等的任務。操作員確定DAG執行時實際執行的內容。

有關更多資訊，請參閱Operators Concepts文件和Operators API Reference 。

BashOperator

使用BashOperator在Bash shell中執行命令。

閱讀全文／改進本文

操作器代表一個理想情況下是冪等的任務。操作員確定DAG執行時實際執行的內容。有關更多資訊，請參閱Operators Concepts文件和Operators API Reference 。 BashOperator 模板故障排除

在本地編寫日誌使用者可以使用base_log_folder設定在airflow.cfg指定日誌資料夾。預設情況下，它位於AIRFLOW_HOME目錄中。此外，使用者可以提供遠端位置，以便在雲端儲存中儲存日誌和日誌備份。在Airflow Web UI中，本地日誌優先於遠端日誌。如果找不到或訪問本

CeleryExecutor是您擴充套件工人數量的方法之一。為此，您需要設定Celery後端（ RabbitMQ ， Redis ，...）並更改airflow.cfg以將執行程式引數指向CeleryExecutor並提供相關的Celery設定。有關設定Celer

DaskExecutor允許您在Dask分散式群集中執行Airflow任務。 Dask叢集可以在單個機器上執行，也可以在遠端網路上執行。有關完整詳細資訊，請參閱分散式文件。要建立叢集，首先啟動排程程式： # default settings for a local cluster DA

通過Airflow UI，您可以輕鬆監控資料管道並對其進行故障排除。以下是您可以在Airflow UI中找到的一些功能和視覺化的快速概述。 DAGs檢視您環境中的DAG列表，以及一組有用頁面的快捷方式。您可以一目瞭然地檢視成功，失敗或當前正在執行的任務數量。

預設情況下，Airflow將在元資料資料庫中以純文字格式儲存連線的密碼。在安裝過程中強烈建議使用crypto包。 crypto包確實要求您的作業系統安裝了libffi-dev。如果最初未安裝crypto軟體包，您仍可以通過以下步驟為連線啟用加密：安裝crypto包pip

Airflow需要知道如何連線到您的環境。其他系統和服務的主機名，埠，登入名和密碼等資訊在UI的Admin->Connection部分中處理。您將創作的管道程式碼將引用Connection物件的“conn_id”。可以使用UI或環境變數建立和管理連線。有關

如果您想對Airflow進行真正的試駕，您應該考慮設定一個真正的資料庫後端並切換到LocalExecutor。由於Airflow是使用優秀的SqlAlchemy庫與其元資料進行互動而構建的，因此您應該能夠使用任何支援作為SqlAlchemy後端的資料庫後端。我們建議使用MySQL或P

第一次執行Airflow時，它會在$AIRFLOW_HOME目錄中建立一個名為airflow.cfg的檔案（預設情況下為~/airflow $AIRFLOW_HOME ）。此檔案包含Airflow的配置，您可以對其進行編輯以更改任何設定。您還可以使用以下格式設定帶有環境變數的選項： $A

本教程將向您介紹一些基本的Airflow概念，物件及其在編寫第一個管道時的用法。示例管道定義以下是基本管道定義的示例。如果這看起來很複雜，請不要擔心，下面將逐行說明。 """ Code that goes along with the Airflow tutorial l

獲得氣流安裝最新穩定版Airflow的最簡單方法是使用pip ： pip install apache-airflow 您還可以安裝Airflow，支援s3或postgres等額外功能： pip install apache-airflow [ postgres,s3

安裝快速而直接。 # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLO

歷史 Airflow於2014年10月由Airbnb的Maxime Beauchemin開始。它是第一次提交的開源，並在2015年6月宣佈正式加入Airbnb Github。該專案於2016年3月加入了Apache Software Foundation的孵化計劃。提交者

Airflow Platform是用於描述，執行和監控工作流的工具。核心理念 DAG的在Airflow中， DAG （或定向非迴圈圖）是您要執行的所有任務的集合，以反映其關係和依賴關係的方式進行組織。例如，一個簡單的DAG可以包含三個任務：A，B和C.可以說A必須在B可

運營商運算子允許生成某些型別的任務，這些任務在例項化時成為DAG中的節點。所有運算子都派生自BaseOperator ，並以這種方式繼承許多屬性和方法。有關更多詳細資訊，請參閱BaseOperator文件。有三種主要型別的運營商：執行操作的操作員，或告訴其他系統

為什麼我的任務沒有安排好？您的任務可能無法安排的原因有很多。以下是一些常見原因：您的指令碼是否“編譯”，Airflow引擎是否可以解析它並找到您的DAG物件。要對此進行測試，您可以執行airflow list_dags並確認您的DAG顯示在列表中。您還可以執行air

注意 Lineage 支援是非常實驗性的，可能會發生變化。 Airflow可以幫助跟蹤資料的來源，發生的事情以及資料隨時間的變化。這有助於實現審計跟蹤和資料治理，還可以除錯資料流。氣流通過任務的入口和出口跟蹤資料。讓我們從一個例子開始，看看它是如何工作的。 from

反向代理 Azure：Microsoft Azure AWS：亞馬遜網路服務 Databricks GCP：Google雲端平臺反向代理可以在反向代理後面設定氣流，並能夠靈活地設定其端點。例如，您可以配置反向代理以獲取： http

Airflow公開了一個實驗性的Rest API。它可以通過網路伺服器獲得。端點可在/ api / experimental /獲得。請注意，我們希望端點定義發生變化。端點這是佔位符，直到招搖定義處於活動狀態 / api / experimental / dag

預設情況下啟用對時區的支援。 Airflow在內部和資料庫中以UTC格式儲存日期時間資訊。它允許您使用時區相關的計劃執行DAG。目前，Airflow不會將其轉換為使用者介面中的終端使用者時區。它始終以UTC顯示。此外，操作符中使用的模板也不會被轉換。時區資訊是暴露出來的，由DAG的