1. 程式人生 > 其它 >Azkaban技術總結

Azkaban技術總結

1、單獨的job

#test
type=command
command=/usr/bin/sh /opt/module/azkaban/executor/jobs/goodsmysql2hdfs.sh

 在寫指令碼的時候儘量使用命令的絕對路徑,避免不識別或找不到執行命令位置。

2、帶有依賴的job

# 測試帶有依賴的任務

A、建立job
在根目錄下建立Azkaban的job檔案路徑
[root@node1 ~]# mkdir -p azkaban_jobs/solo_job
#在solo_job目錄建立兩個檔案one.job  two.job,內容如下
[root@node1 solo_job]# cat one.job type=command command=echo "this is job one"
[root@node1 solo_job]# cat two.job type=command dependencies=one command=echo "this is job two" #打包成zip包 [root@node1 azkaban_jobs]# zip -r solo_job.zip solo_job/

B、Azkaban WebUI建立工程並執行
http://node1(或使用192.168.*.*):8081/index登入=>Create Project=>Upload 上一步生成的zip包 =>execute flow執行一步步操作即可
注:在Azkaban專案中,任務的名稱是以最後一個Job名來命名的。

  

換行符問題

注意:shell指令碼中的換行符是LF ,window系統換行符是CR LF。在編輯的時候注意不能使用CR LF,否則不能執行。

解決辦法:使用Notpad++軟體可以直接檢視換行符

最下面可以切換系統的換行符。也可以在配置中設定unix系統。

【未完待整理】