azkaban執行各種job任務
一:Azkaban執行各種job任務
所有的job檔案打成zip的壓縮包,注意:不能是rar壓縮
所有job檔案可以通過Noteped++編輯該檔案,注意設定Job檔案的格式編碼
1)azkaban的job操作普通linux語句
type=command
command=echo 'hello world'
2)azkaban的job操作shell指令碼及指令碼引數傳遞
type=command
command=sh /home/dove/get_data.sh '' 'aaa,bbb,ccc'
3)azkaban多個job依賴執行
第一個job檔案foo.job:
type=command
command=echo 'foo'
第二個job檔案依賴第一個foo.job:
type=command
dependencies=foo
command=echo 'bar'
4)azkaban的job操作HDFS檔案系統
type=command
command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban
5)azkaban的job操作MapReduce,注意這裡的jar需要是相對路徑,需要和job檔案打成一個壓縮包。
type=command
command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5
6)azkaban的job操作Hive指令碼,注意的hive指令碼hive.sql需要和job檔案打成一個壓縮包。
type=command
command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f 'hive.sql'
二:azkaban執行Job
上傳壓縮包:
建立好專案後,點選Execute Flow執行專案
立即執行和定時時間設定: