airflow單機版搭建記錄——不使用mysql,redis
阿新 • • 發佈:2019-07-03
[toc]
airflow單機版搭建記錄
環境準備
Python(pip)——airflow由python編寫
安裝airflow
pip install apache-airflow
環境變數配置
本人是在root使用者下執行,可自行選擇
export AIRFLOW_HOME=~/airflow
執行airflow命令
airflow
為了在AIRFLOW_HOME下生成配置檔案airflow.cfg
修改配置檔案
default_timezone = Asia/Shanghai
load_examples = False
base_url = http://etl1:9999
web_server_port = 9999
初始化資料庫
airflow initdb
修改時區
https://blog.csdn.net/crazy__hope/article/details/83688986
啟動
airflow webserver -p 9999 -D
airflow scheduler -D
附加程式
第三方開發的簡陋的dag模板配置程式
環境
需要額外安裝python3 https://www.cnblogs.com/Hunry/p/9350607.html
java環境
pyt
部落格
Airflow 使用隨筆(內含 TimeZone 和 Backfill 等的詳解)https://www.cnblogs.com/piperck/p/10101423.html
如何部署一個健壯的 apache-airflow 排程系統 https://blog.csdn.net/somezz/article