Spark安裝以及配置
阿新 • • 發佈:2018-12-10
2>在/usr/local/src/中解壓spark-2.0.2-bin-hadoop2.6.tgz
3>在spark根目錄中,進入/conf目錄下,建立slaves和 spark-env.sh檔案,我這裡配的是叢集的方式,所以在slaves中新增
slave1
slave2
在 spark-env.sh中新增
JAVA_HOME=/usr/local/src/jdk1.8.0_172
HADOOP_HOME=/usr/local/src/hadoop-2.6.1
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SCALA_HOME=/usr/local/src/scala-2.11.4
SPARK_MASTER_IP=newmaster(自己主機名)
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G
4>在~/.bashrv中新增
SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
儲存,退出。然後source ~/.bashrc
5>在spark根目錄中,進入/sbin目錄下,執行./start-all.sh命令即可
6>在瀏覽器中輸入Linux主機ip:8080,可檢視是否正常