1. 程式人生 > >shell腳本傳參執行spark-submit

shell腳本傳參執行spark-submit

遍歷 shell腳本 傳參 bin 執行 soup spark exe oot

讀取多個目錄下的本地文件,多個目錄通過循環遍歷的方式,以參數傳遞:

#!/bin/bash

i=0
while [ $i -lt 10000 ]
do
echo "i=$i"
spark-submit --class com.link.fblx.readFromPath --driver-memory 20G --executor-memory 20G --num-executors 1 --executor-cores 25 --total-executor-cores 25 --jars jsoup-1.8.1.jar /root/sparkdemo_jar.jar file:///home/zl/data/$i/* /test/zl/fblx_link/20190109/output$i
((i++))
done

shell腳本傳參執行spark-submit