1. 程式人生 > >Spark叢集安裝搭建

Spark叢集安裝搭建

1.下載Spark

Spark是一個獨立的記憶體計算框架,如果不考慮儲存的話,可以完全獨立執行,因此這裡就只安裝Spark叢集

Spark下載地址:       http://spark.apache.org/downloads.html

選擇好Spark和Hadoop的版本之後就可以下載了,從2.0版本開始,Spark預設使用Scala2.11

2.上傳解壓

將Spark的壓縮包上傳到叢集的某一臺機器上,然後解壓縮

3.進行Spark的配置檔案的配置

進入到Spark的目錄下

cd conf
mv  spark-env.sh.template spark-env.sh
vi spark-env.sh

在該配置檔案中新增如下配置

export JAVA_HOME=你的jdk所在目錄

配置slaves檔案

mv slaves.template slaves
vi slaves

在slaves中新增你的Spark叢集子節點機器的主機名或者ip

4.將配置好的Spark傳輸到叢集的其他機器上

使用scp命令,如果叢集機器特別多的話,可以使用shell程式設計來迴圈自動傳輸,這裡不在詳細說明

5.啟動Spark

進入到Spark的主目錄下

sbin/start-all.sh

使用jps命令可以看出,該Spark叢集有一個Master,三個Work

 

Spark叢集的WEBUI介面:             Master所在的主機ip:8080