02.spark-spark分散式安裝
1.規劃 三臺伺服器
s101 //master(程序)
s102 ~ s104 //worker(程序)
2.在每個主機上分別安裝spark
3.配置spark(每個節點進行相同操作)
3.1)在spark的conf目錄下建立hadoop的core-site.xml和hdfs-site.xml軟連線
$>xcall.sh ln -s /soft/hadoop/etc/hadoop/core-site.xml /soft/spark/conf/core-site.xml
$>xcall.sh ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/spark/conf/hdfs-site.xml
3.2)配置JAVA_HOME環境變數
$>cd /soft/spark/conf
$>cp spark-env.sh.template spark-env.sh
$>nano spark-env.sh
...
export JAVA_HOME=/soft/jdk
...
2）新增JAVA_HOME環境變數
[centos@s101 /soft/spark/sbin]$nano spark-config.sh
#java JDK
export JAVA_HOME=/soft/jdk
3.3)修改slaves檔案
$>cd /soft/spark/conf
$>cp slaves.template slaves
$>nano slaves
s102
s103
s104
3.4)分發配置檔案
$>xsync.sh spark-env.sh
$>xsync.sh slaves
4.啟動spark叢集
4.1)啟動hadoop叢集
xzk.sh start //啟動zk
start-dfs.sh //啟動hdfs
4.2)啟動spark
$>cd /soft/spark/sbin
$>./start-all.sh
5.webui
http://s101:8080
5上傳本地檔案到hdfs
[centos@s101 /home/centos]$hadoop fs -mkdir /user/centos/download檢視當前目錄資訊
hdfs dfs -ls /
上傳檔案
hdfs dfs -put /本地路徑 /hdfs路徑
6.啟動spark shell，連線到spark叢集
$>spark-shell --master spark://s101:7077
$>sc.textFile("/user/centos/data/1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect()
http://s101:8080 檢視執行情況