1. 程式人生 > >設定pyspark 啟動時所使用的python版本

設定pyspark 啟動時所使用的python版本

以下操作均為使用非root使用者進行。

vim ~/.bashrc

在檔案中新增:

export PYSPARK_PYTHON=/usr/local/bin/python3

指定pyspark啟動時使用的python版本,
#export PYSPARK_DRIVER_PYTHON=ipython3

指定啟動pyspark後的互動式介面,使用ipython3作為預設啟動互動介面
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"

指定啟動pyspark後的互動式介面,使用jupyter作為預設啟動的互動介面,指定ip 和port 可以讓同網段的裝置訪問jupyter 進行pyspark 操作

 

source ~/.bashrc

載入配置生效