spark報錯java.lang.OutOfMemoryError: Java heap space
阿新 • • 發佈:2018-12-29
針對spark報錯:
java.lang.OutOfMemoryError: Java heap space
解決方式:
在spark/conf/spark-env.sh中加大SPARK_WORKER_MEMORY值,如下,我加大至6GB
export SPARK_MASTER_IP=192.168.2.139 export SPARK_WORKER_CORES=4 export SPARK_WORKER_INSTANCES=2 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_MEMORY=6g export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
在編寫的scala應用程式中設定執行時記憶體需求量:spark.executor.memory
val conf = new SparkConf().setAppName("sinaApplication").set("spark.executor.memory","6g")
像叢集提交程式碼時,指定記憶體量:--executor-memory
../../bin/spark-submit --class "sinaApp" --master spark://192.168.2.139:7077 --executor-memory 6G target/scala-2.10/sina-project_2.10-1.0.jar
以上方式感覺太暴力了,但是我也沒找到其他方式,這樣也算解決了java.lang.OutOfMemoryError: Java heap space的問題