1、spark 官網選擇對應Hadoop的版本，之前安裝的Hadoop版本為hadoop-3.0.2，獲取下載包： wget http://mirrors.hust.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz   2、解壓縮安裝包，建立軟連線： tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz ln -s spark-2.4.0-bin-hadoop2.7 spark   3、配置spark，進入conf目錄: 1)、配置spark-env.sh 檔案 先拷貝：cp spark-env.sh.template spark-env.sh 檔案增加內容如下： export JAVA_HOME=/usr/local/src/jdk1.8.0_191 #Java環境變數 export SCALA_HOME=/usr/local/src/scala/scala-2.12.7 #SCALA環境變數 export SPARK_WORKING_MEMORY=521m #每一個worker節點上可用的最大記憶體 export SPARK_MASTER_IP=master #驅動器節點IP export HADOOP_HOME=/usr/local/src/hadoop-3.0.2 #Hadoop路徑 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #Hadoop配置目錄   2)、配置slave主機 先拷貝：cp slaves.template slaves 檔案中增加slave節點名稱： slave1 slave2   3）、將spark 目錄傳送給salve1和slave2 scp -r spark

[email protected]:/usr/local/src/ scp -r spark [email protected]:/usr/local/src/   4)、啟動spark cd sbin目錄，執行./start-all.sh   5)、節點啟動了worker程序