1. 程式人生 > >Spark-submit方式提交spark任務

Spark-submit方式提交spark任務

1. 提交命令


export ALL_JARS='--jars /ljj/hbase/phoenix-4.10.0-HBase-1.1-client.jar,/ljj/hbase/phoenix-spark-4.10.0-HBase-1.1.jar,/ljj/hbase/phoenix-core-4.10.0-HBase-1.1.jar'

su -l yarn -c "/usr/bin/spark-submit --master yarn --deploy-mode client --class main.scala.bulkload.BulkloadHebeiDataPhoenix $ALL_JARS /ljj/CsdSpark.jar"


2. 注意事項

使用spark-submit來提交spark程式,spark app本身jar以及使用--jars指定的所有jar包都會自動被分發到叢集。--jars引數必須使用逗號分隔。