1. 程式人生 > 實用技巧 ><親測>Mac環境下安裝spark

<親測>Mac環境下安裝spark

Mac環境下安裝spark

2018-06-02 21:20:184366收藏1 版權

由於spark是由scala編寫,而scala又是基於jvm環境的變成語言,所有首先要保證你的環境已經安裝了JDK8

1.安裝scala環境

brew install scala

安裝完成後檢查

scala -version檢視是否安裝成功

2.安裝spark環境

http://spark.apache.org/downloads.html下載最新的spark包

解壓安裝包

tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

3.配置環境變數

  1. vim /etc/profile
  2. export SCALA_HOME=/usr/local/Cellar/scala
  3. export PATH=$PATH:$SCALA_HOME/bin
  4. exportSPARK_HOME=/Users/sx/open-source/spark-2.3.0-bin-hadoop2.7
  5. export PATH=$PATH:$SPARK_HOME/bin

4.啟動Spark

首先進入Spark目錄中的sbin子目錄執行如下指令碼啟動Spark: ./start-all.sh

啟動後jps檢測master,worker全部啟動

5.使用spark shell 進行測試

到此說明mac下spark安裝成功