Oozie排程原理(queueName與launcher_queName詳解)
阿新 • • 發佈:2020-12-30
有時候job.properties中會有兩個定義引數
queueName=default
launcher_queName=default(oozie,在Hadoop容量排程器配置檔案進行指定),不指定預設為default。
適用情景將launcher佇列和action佇列分開。
配置oozie.launcher.mapred.job.queue.name
為launcher要用的佇列
配置mapreduce.job.queuename(mapred.job.queue.name)
為action用的佇列
情景一(不分開launcher佇列和action佇列):
#HDFS地址 nameNode=hdfs://hadoop102:8020 #ResourceManager地址 jobTracker=hadoop103:8032 #佇列名稱 queueName=default examplesRoot=oozie-apps oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell EXEC=p1.sh
情景二(分開launcher佇列和action佇列)
nameNode=hdfs://mycluster
jobTracker=hadoop02:8032
queueName=default
launcher_queName=oozie
oozie.use.system.libpath=true
examplesRoot=oozie-apps
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell 。。。。
workflow內部配置參考
<global> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <configuration> <property> <name>mapred.job.queue.name</name> <value>${queueName}</value> </property> <property> <name>oozie.launcher.mapred.job.queue.name</name> <value>${launcher_queName}</value> </property> </configuration> </global>
參考: