1. 程式人生 > >Linux下安裝spark叢集

Linux下安裝spark叢集

1、安裝scala
2、安裝Spark
3、配置Spark
修改配置檔案spark-env.sh,在解壓spark下的conf檔案中

將模板檔案複製出來
cp spark-env.sh.template spark-env.sh
cp slave.template slave

4、配置spark和slave

配置spark-env.sh(scala_home和java_home都是其安裝路徑)
export SCALA_HOME=/usr/soft/scala-2.13.0
export JAVA_HOME=/usr/soft/jdk-9.0.1
SPARK_MASTER_IP=192.168.136.132(自己的主節點IP)

5、啟動Spark

進到以下目錄(也是spark的安裝路徑下的sbin)
cd /home/hadoop/spark/spark-1.6.1/sbin
start-all.sh

6、使用jps檢視程序
worker
jps
7、進入電腦瀏覽器輸入主機名:8080可以檢視spark的詳細詳細資訊