oozie定時排程的配置說明第一篇

阿新 • • 發佈：2019-01-20

如果需要做一個迴圈的定時排程，基本的需要三個檔案

job.properties 記錄了job的屬性
workflow.xml 使用hPDL 定義任務的流程和分支
coordinator.xml 主要用來做workflow的觸發條件，來做定時觸發，也可以組合多個workflow的執行順序

現在講解一個簡單的demo，對ooize進行說明講解 job.properties 該檔案主要是設定一些引數資訊和公共變數 # 叢集引數 #nameNode地址
nameNode=hdfs://master:8020 #resourceManager地址
jobTracker=master:8032 #oozie佇列這個屬性一般不做修改

queueName=default
# oozie #coordinator.xml在hdfs上的路徑
oozie.coord.application.path=${nameNode}/work/coordinator.xml #workflow.xml在hdfs上的路徑
workflowAppUri=${nameNode}/work/workflow.xml #workflow的名字
workflowName=workflow #定時任務的開始時間以UTC時區為準
start=2016-11-03T09:00Z #定時任務的結束時間
end=2019-07-30T16:00Z
# shell指令碼所在路徑或者需要執行的jar包所在的路徑

jarsDir=/home/jar
# shell指令碼所在主機或者需要執行的jar包所在的主機
sshHost=namenode2
workflow.xml <workflow-app xmlns="uri:oozie:workflow:0.2" name="${workflowName}"> <start to="SchedulerMain"/> --啟動的action的名稱
<action name="SchedulerMain">
<ssh xmlns="uri:oozie:ssh-action:0.1">--該動作節點的意思是登入一臺機器，然後執行一條shell命令
<host>

[email protected]${sshHost}</host>
<command>hadoop jar ${jarsDir}/SchedulerMain.jar</command> --需要執行的具體指令碼
</ssh>
<ok to="end"/> --執行成功以後跳轉的節點
<error to="fail"/>--執行失敗以後跳轉的節點
</action>
<kill name="fail">
<message>Java failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
coordinator.xml
#frequency執行頻率 ${coord:minutes(5)}為coordinator內建的EL function (Expression Language) <coordinator-app name="coordinator" frequency="${coord:minutes(5)}" start="${start}" end="${end}" timezone="UTC" xmlns="uri:oozie:coordinator:0.2">
<action>
<workflow>
<app-path>${workflowAppUri}</app-path>
<configuration>
<property>
<name>jobTracker</name>
<value>${jobTracker}</value>
</property>
<property>
<name>nameNode</name>
<value>${nameNode}</value>
</property>
<property>
<name>queueName</name>
<value>${queueName}</value>
</property>
</configuration>
</workflow>
</action>
</coordinator-app>

EL常量

常量表示形式	含義說明
${coord:minutes(int n)}	返回日期時間：從一開始，週期執行n分鐘
${coord:hours(int n)}	返回日期時間：從一開始，週期執行n * 60分鐘
${coord:days(int n)}	返回日期時間：從一開始，週期執行n * 24 * 60分鐘
${coord:months(int n)}	返回日期時間：從一開始，週期執行n * M * 24 * 60分鐘（M表示一個月的天數）
${coord:endOfDays(int n)}	返回日期時間：從當天的最晚時間（即下一天）開始，週期執行n * 24 * 60分鐘
${coord:endOfMonths(1)}	返回日期時間：從當月的最晚時間開始（即下個月初），週期執行n * 24 * 60分鐘
${coord:current(int n)}	返回日期時間：從一個Coordinator動作（Action）建立時開始計算，第n個dataset例項執行時間
${coord:dataIn(String name)}	在輸入事件（input-events）中，解析dataset例項包含的所有的URI
${coord:dataOut(String name)}	在輸出事件（output-events）中，解析dataset例項包含的所有的URI
${coord:offset(int n, String timeUnit)}	表示時間偏移，如果一個Coordinator動作建立時間為T，n為正數表示向時刻T之後偏移，n為負數向向時刻T之前偏移，timeUnit表示時間單位（選項有MINUTE、HOUR、DAY、MONTH、YEAR）
${coord:hoursInDay(int n)}	指定的第n天的小時數，n>0表示向後數第n天的小時數，n=0表示當天小時數，n<0表示向前數第n天的小時數
${coord:daysInMonth(int n)}	指定的第n個月的天數，n>0表示向後數第n個月的天數，n=0表示當月的天數，n<0表示向前數第n個月的天數
${coord:tzOffset()}	ataset對應的時區與Coordinator Job的時區所差的分鐘數
${coord:latest(int n)}	最近以來，當前可以用的第n個dataset例項
${coord:future(int n, int limit)}	當前時間之後的dataset例項，n>=0，當n=0時表示立即可用的dataset例項，limit表示dataset例項的個數
${coord:nominalTime()}	nominal時間等於Coordinator Job啟動時間，加上多個Coordinator Job的頻率所得到的日期時間。例如：start=”2009-01-01T24:00Z”，end=”2009-12-31T24:00Z”，frequency=”${coord:days(1)}”，frequency=”${coord:days(1)}，則nominal時間為：2009-01-02T00:00Z、2009-01-03T00:00Z、2009-01-04T00:00Z、…、2010-01-01T00:00Z
${coord:actualTime()}	Coordinator動作的實際建立時間。例如：start=”2011-05-01T24:00Z”，end=”2011-12-31T24:00Z”，frequency=”${coord:days(1)}”，則實際時間為：2011-05-01，2011-05-02，2011-05-03，…，2011-12-31
${coord:user()}	啟動當前Coordinator Job的使用者名稱稱
${coord:dateOffset(String baseDate, int instance, String timeUnit)}	計算新的日期時間的公式：newDate = baseDate + instance * timeUnit，如：baseDate=’2009-01-01T00:00Z’，instance=’2′，timeUnit=’MONTH’，則計算得到的新的日期時間為’2009-03-01T00:00Z’。
${coord:formatTime(String timeStamp, String format)}	格式化時間字串，format指定模式

oozie job -config /root/app/job.properties -run 啟動oozie 執行具體的配置檔案文章參考列表： http://blackproof.iteye.com/blog/1928122
http://shiyanjun.cn/archives/684.html
http://www.cnblogs.com/en-heng/p/5581331.html

oozie定時排程的配置說明第一篇

oozie定時排程的配置說明第一篇

oozie 定時排程時區設定

CDH中oozie 定時排程sqoop job

springCloud微服務系列——配置中心第一篇——配置管理策略

從0開始搭建SQL Server AlwaysOn 第一篇（配置域控）

第一篇：Tomcat介紹、安裝、配置

Shell實戰第一篇：自動批量創建用戶並配置保存自定義密碼

第一篇：saltstack安裝與配置

【任務排程系統第一篇】：大資料任務排程框架

小白入門Java開發第一篇：環境配置

第一篇 Spring boot 配置檔案筆記

第一篇 Spring boot 配置文件筆記

前端開發小獅子使用github展現個人網站專案（第一篇：安裝Git以及配置環境）2018.12.11

nginx教程第一篇：nginx安裝、配置

ssm中配置Quartz定時排程任務

Spring配置Quartz實現定時排程任務

linux第一篇，網路配置與基本元件安裝

Angular -- 學習心得第一篇之環境配置

深入理解定時器系列第一篇——理解setTimeout和setInterval

RabbitMQ第一篇：RabbitMQ的安裝和配置

oozie定時排程的配置說明第一篇

相關推薦