Airflow 中文文件:設定配置選項
第一次執行Airflow時,它會在$AIRFLOW_HOME
目錄中建立一個名為airflow.cfg
的檔案(預設情況下為~/airflow
$AIRFLOW_HOME
)。 此檔案包含Airflow的配置,您可以對其進行編輯以更改任何設定。 您還可以使用以下格式設定帶有環境變數的選項: $AIRFLOW__{SECTION}__{KEY}
(注意雙下劃線)。
例如,元資料庫連線字串可以在airflow.cfg
設定,如下所示:
[ core ]
sql_alchemy_conn = my_conn_string
或者通過建立相應的環境變數:
AIRFLOW__CORE__SQL_ALCHEMY_CONN = my_conn_string
您還可以通過將_cmd
附加到鍵來在執行時派生連線字串,如下所示:
相關推薦
Airflow 中文文件:設定配置選項
第一次執行Airflow時,它會在$AIRFLOW_HOME目錄中建立一個名為airflow.cfg的檔案(預設情況下為~/airflow $AIRFLOW_HOME )。 此檔案包含Airflow的配置,您可以對其進行編輯以更改任何設定。 您還可以使用以下格式設定帶有環境變數的選項: $A
Airflow 中文文件:使用測試模式配置
Airflow具有一組固定的“測試模式”配置選項。 您可以隨時通過呼叫airflow.configuration.load_test_config()來載入它們(注意此操作不可逆!)。 但是,在您有機會呼叫load_test_config()之前,會載入一些選項(如DAG_FOLDER)。
Airflow 中文文件:寫日誌
在本地編寫日誌 使用者可以使用base_log_folder設定在airflow.cfg指定日誌資料夾。 預設情況下,它位於AIRFLOW_HOME目錄中。 此外,使用者可以提供遠端位置,以便在雲端儲存中儲存日誌和日誌備份。 在Airflow Web UI中,本地日誌優先於遠端日誌。 如果找不到或訪問本
Airflow 中文文件:用Celery擴大規模
CeleryExecutor是您擴充套件工人數量的方法之一。 為此,您需要設定Celery後端( RabbitMQ , Redis ,...)並更改airflow.cfg以將執行程式引數指向CeleryExecutor並提供相關的Celery設定。 有關設定Celer
Airflow 中文文件:用Dask擴充套件
DaskExecutor允許您在Dask分散式群集中執行Airflow任務。 Dask叢集可以在單個機器上執行,也可以在遠端網路上執行。 有關完整詳細資訊,請參閱分散式文件 。 要建立叢集,首先啟動排程程式: # default settings for a local cluster DA
Airflow 中文文件:UI /截圖
通過Airflow UI,您可以輕鬆監控資料管道並對其進行故障排除。 以下是您可以在Airflow UI中找到的一些功能和視覺化的快速概述。 DAGs檢視 您環境中的DAG列表,以及一組有用頁面的快捷方式。 您可以一目瞭然地檢視成功,失敗或當前正在執行的任務數量。
Airflow 中文文件:保護連線
預設情況下,Airflow將在元資料資料庫中以純文字格式儲存連線的密碼。 在安裝過程中強烈建議使用crypto包。 crypto包確實要求您的作業系統安裝了libffi-dev。 如果最初未安裝crypto軟體包,您仍可以通過以下步驟為連線啟用加密: 安裝crypto包pip
Airflow 中文文件:管理連線
Airflow需要知道如何連線到您的環境。 其他系統和服務的主機名,埠,登入名和密碼等資訊在UI的Admin->Connection部分中處理。 您將創作的管道程式碼將引用Connection物件的“conn_id”。 可以使用UI或環境變數建立和管理連線。 有關
Airflow 中文文件:使用操作器
操作器代表一個理想情況下是冪等的任務。 操作員確定DAG執行時實際執行的內容。 有關更多資訊,請參閱Operators Concepts文件和Operators API Reference 。 BashOperator 模板 故障排除
Airflow 中文文件:初始化資料庫後端
如果您想對Airflow進行真正的試駕,您應該考慮設定一個真正的資料庫後端並切換到LocalExecutor。 由於Airflow是使用優秀的SqlAlchemy庫與其元資料進行互動而構建的,因此您應該能夠使用任何支援作為SqlAlchemy後端的資料庫後端。 我們建議使用MySQL或P
Airflow 中文文件:教程
本教程將向您介紹一些基本的Airflow概念,物件及其在編寫第一個管道時的用法。 示例管道定義 以下是基本管道定義的示例。 如果這看起來很複雜,請不要擔心,下面將逐行說明。 """ Code that goes along with the Airflow tutorial l
Airflow 中文文件:安裝
獲得氣流 安裝最新穩定版Airflow的最簡單方法是使用pip : pip install apache-airflow 您還可以安裝Airflow,支援s3或postgres等額外功能: pip install apache-airflow [ postgres,s3
Airflow 中文文件:快速開始
安裝快速而直接。 # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLO
Airflow 中文文件:專案
歷史 Airflow於2014年10月由Airbnb的Maxime Beauchemin開始。 它是第一次提交的開源,並在2015年6月宣佈正式加入Airbnb Github。 該專案於2016年3月加入了Apache Software Foundation的孵化計劃。 提交者
Airflow 中文文件:概念
Airflow Platform是用於描述,執行和監控工作流的工具。 核心理念 DAG的 在Airflow中, DAG (或定向非迴圈圖)是您要執行的所有任務的集合,以反映其關係和依賴關係的方式進行組織。 例如,一個簡單的DAG可以包含三個任務:A,B和C.可以說A必須在B可
Airflow 中文文件:API 參考
運營商 運算子允許生成某些型別的任務,這些任務在例項化時成為DAG中的節點。 所有運算子都派生自BaseOperator ,並以這種方式繼承許多屬性和方法。 有關更多詳細資訊,請參閱BaseOperator文件。 有三種主要型別的運營商: 執行操作的操作員,或告訴其他系統
Airflow 中文文件:常見問題
為什麼我的任務沒有安排好? 您的任務可能無法安排的原因有很多。 以下是一些常見原因: 您的指令碼是否“編譯”,Airflow引擎是否可以解析它並找到您的DAG物件。 要對此進行測試,您可以執行airflow list_dags並確認您的DAG顯示在列表中。 您還可以執行air
Airflow 中文文件:Lineage
注意 Lineage 支援是非常實驗性的,可能會發生變化。 Airflow可以幫助跟蹤資料的來源,發生的事情以及資料隨時間的變化。 這有助於實現審計跟蹤和資料治理,還可以除錯資料流。 氣流通過任務的入口和出口跟蹤資料。 讓我們從一個例子開始,看看它是如何工作的。 from
Airflow 中文文件:整合
反向代理 Azure:Microsoft Azure AWS:亞馬遜網路服務 Databricks GCP:Google雲端平臺 反向代理 可以在反向代理後面設定氣流,並能夠靈活地設定其端點。 例如,您可以配置反向代理以獲取: http
Airflow 中文文件:實驗性 Rest API
Airflow公開了一個實驗性的Rest API。 它可以通過網路伺服器獲得。 端點可在/ api / experimental /獲得。 請注意,我們希望端點定義發生變化。 端點 這是佔位符,直到招搖定義處於活動狀態 / api / experimental / dag