1. 程式人生 > >Spark常用執行指令碼

Spark常用執行指令碼

叢集環境變數無配置:
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
安全認證:
kinit -k -t test.keytab [email protected]

spark2執行命令:

#! /bin/bash
spark2-submit \
--class com.lhx.test \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--num-executors 10 \
--executor-memory 2g \
--executor-cores 2 \
--conf spark.default.parallelism=50 \
--conf spark.storage.memoryFraction=0.5 \
--conf spark.shuffle.memoryFraction=0.3 \
demo-1.0.jar \
'輸入變數1'
'輸入變數2'