Hadoop+spark+jupyter環境搭建順序請參照：

    我們已經實現了Spark  on Yarn的搭建，但我們還希望有一個友好的開發介面，也便於展示成果，因此我們選擇了jupyter。他的本質就是一個 web app，也支援多種語言，完全滿足我們的要求。

1.安裝python3

下載包

wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0a1.tar.xz

(自己根據需要選擇python版本)

拷貝到想要安裝的目錄，沒有的話就自己建立一個

cp Python-3.6.0a1.tar.xz /usr/lib/python

解壓並刪除安裝包

tar xvf  Python-3.6.0a1.tar.xz
rm –rf Python-3.6.0a1.tar.xz
 

編譯安裝，進入目錄./configure

make && make install

(沒有make包的話就先安裝make包)

測試一下，檢視版本

python3 –version

由於我們只使用python3，可以切換一下系統預設的python版本，輸入

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

（這裡也可以使用一些更加方便的python包管理器，如pythonbrew，我們這裡就儘量簡化了）

此後使用python和pip就可以了，不必python3 pip3

 2.jupyter的安裝使用以及遠端連線

安裝

pip install jupyter

輸入

ipython

進入shell，按如下內容進行輸入

In [1]: from IPython.lib import passwd
In [2]: passwd()
Enter password: #設定遠端登陸時的密碼，自由發揮
Verify password: #確認密碼
Out[2]: 'sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856'#會為你生成一個SHA金鑰，複製下來備用，儲存好金鑰後quit即可
 

生成mycert.pem，輸入

openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

接下來，會要求你輸入一系列的個人資訊，如國家，省份，單位，個人姓名等等，自由發揮，不影響功能。一般來說mycert.pem會生成在當前目錄下，可以把他拷貝到更便於管理的資料夾，記好這個路徑。

建立一個新的伺服器配置

ipython profile create myserver #最後一個引數為伺服器的名字，自由發揮

編輯檔案jupyter_notebook_config.py，建立伺服器配置的時候控制檯會輸出該檔案的位置資訊，一般來說是~/.jupyter/myserver/jupyter_notebook_config.py，進入該資料夾，開啟jupyter_notebook_config.py，按下面內容進行配置

c.NotebookApp.password = u'sha1:' #此處填寫剛剛生成的SHA金鑰
c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' #此處填寫mycert.pem檔案位置
c.NotebookApp.ip = '*' #此處填寫ip，本機ip就好，由於我們之前綁定了主機名，所以此處也可直接填主機名，如myz-master
c.NotebookApp.port = 9999 #埠，自由發揮就好，注意端口占用情況

配置完成，啟動伺服器，可能需要切換成root使用者

jupyter notebook --ip=myz-master --no-browser --allow-root

--ip=myz-master設定ip

--no-browser不要開啟瀏覽器，因為我們要遠端訪問

--allow-root可以在root下啟動

啟動成功我們就可以從本地開啟瀏覽器，進入到https://你的ip: 你的port/，輸入剛才我們設定的登陸密碼，就可以進入到jupyter的home介面了

3. Jupyter連線pyspark，實現web端spark開發

按照下面內容新增環境變數/etc/profile

#py-spark
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH #pythonpath指向spark目錄下的python資料夾
export PYTHONPATH=$SPARK_HOME/python/dist/py4j-0.10.6.zip:$PYTHONPATH# 指向py4j包，沒有的話下載一個就可以了
export PYSPARK_PYTHON=python3 #使用python3
export PYSPARK_DRIVER_PYTHON=jupyter 
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=myz-master --no-browser --allow-root" #最後兩個變數參照剛才開啟jupyter時命令裡的引數配置就可以

讓環境變數生效

source /etc/profile

進入到SPARK_HOME/bin，啟動

./pyspark

再通過本地瀏覽器遠端登陸jupyter就可以了。