1. 程式人生 > >mac配置單機spark

mac配置單機spark

1、在官網的下載頁面上,下載對應版本的tgz檔案,如spark-2.4.0-bin-hadoop2.7.tgz,然後開啟終端,cd到任一資料夾將其解壓,移動到/usr/local資料夾內。

tar zxvf spark-2.4.0-bin-hadoop2.7.tgz
mv spark-2.4.0-bin-hadoop2.7 /usr/local

2、spark環境變數配置

open .bash_profile

開啟環境變數檔案,在檔案中新增

#SPARK VARIABLES START
export SPARK_HOME = /usr/local/spark-2.1.0-hadoop2.7
export
PATH = ${PATH}:${SPARK_HOME}/bin #SPARK VARIABLES END

儲存該檔案,然後輸入以下程式碼使其生效

source .bash_profile

3、測試
在終端輸入pyspark測試,看是否安裝成功。

注:
如果安裝spark小於2.1的版本,是不支援python3.6的,會出現如下的報錯:
TypeError: namedtuple() missing 3 required keyword-only arguments: 'verbose', 'rename', and 'module'

所以可以先通過anaconda建立python3.5的環境,再通過該環境使用spark。

conda create -n py35 python=3.5 anaconda
# 等安裝完成後,啟用該環境
source activate py35
# 退出該環境
deactivatepy35