1. 程式人生 > >azkaban執行各種job任務

azkaban執行各種job任務

一:Azkaban執行各種job任務

所有的job檔案打成zip的壓縮包,注意:不能是rar壓縮

所有job檔案可以通過Noteped++編輯該檔案,注意設定Job檔案的格式編碼

1)azkaban的job操作普通linux語句

type=command

command=echo 'hello world'

2)azkaban的job操作shell指令碼及指令碼引數傳遞

type=command

command=sh /home/dove/get_data.sh '' 'aaa,bbb,ccc'

3)azkaban多個job依賴執行

第一個job檔案foo.job:

type=command

command=echo 'foo'

第二個job檔案依賴第一個foo.job:

type=command

dependencies=foo

command=echo 'bar'

4)azkaban的job操作HDFS檔案系統

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban

5)azkaban的job操作MapReduce,注意這裡的jar需要是相對路徑,需要和job檔案打成一個壓縮包。

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5

6)azkaban的job操作Hive指令碼,注意的hive指令碼hive.sql需要和job檔案打成一個壓縮包。

type=command

command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f 'hive.sql'

二:azkaban執行Job

上傳壓縮包:

建立好專案後,點選Execute Flow執行專案

立即執行和定時時間設定: