上一篇文章製作好了docker映象，現在在兩臺伺服器上部署spark叢集

宿主機1IP：192.168.0.21 ；宿主機2IP：192.168.0.30

（一）在宿主機安裝weave，使不同宿主機的容器之間能夠互相通訊

（二）實現宿主機1到宿主機2的ssh免密登入

（三）在宿主機1編寫啟動12個容器的指令碼並啟動

#vim docker_start.sh

#!/bin/bash
  weave run 172.16.0.2/24 -itd --name master -p 8090:18090 -p 8998:18998 -p 23233:23233 -p 50070:50070 -p 8080:8080 -p 9000:19000 -p 8088:8088 -p 4040:4040 -p 6066:16066 -p 7077:17077 orient/spark:1.0.2 /root/run.sh
  weave run 172.16.0.3/24 -itd --name node1 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.4/24 -itd --name node2 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.5/24 -itd --name node3 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.6/24 -itd --name node4 orientsoft/spark:1.0 /root/run.sh
  weave run 172.16.0.7/24 -itd --name node5 orientsoft/spark:1.0 /root/run.sh
  ssh 
 
[email protected] "weave run 172.16.0.8/24 -itd --name node6 orientsoft/spark:1.0 /root/run.sh"
  ssh [email protected] "weave run 172.16.0.9/24 -itd --name node7 orientsoft/spark:1.0 /root/run.sh"
  ssh [email protected] "weave run 172.16.0.10/24 -itd --name node8 orientsoft/spark:1.0 /root/run.sh"
  ssh 
 
[email protected] "weave run 172.16.0.11/24 -itd --name node9 orientsoft/spark:1.0 /root/run.sh"
  ssh [email protected] "weave run 172.16.0.12/24 -itd --name node10 orientsoft/spark:1.0 /root/run.sh"
  ssh [email protected] "weave run 172.16.0.13/24 -itd --name node11 orientsoft/spark:1.0 /root/run.sh"

第一行的-p引數將master節點的相關埠向宿主機埠進行了對映，後面會有相關解釋。

執行該指令碼，12個容器將會在兩臺機器上開啟

（四）啟動spark叢集

1、啟動zookeeper       在node4~node5中修改myid

#echo 2 > ~/zookeeper/tmp/myid
#echo 3 > ~/zookeeper/tmp/myid

2、啟動zookeeper叢集（node3-node5）：

#~/zookeeper/bin/zkServer.sh start

檢視是否啟動

#~/zookeeper/bin/zkServer.sh status

3、在master啟動所有journalnode:

#~/hadoop/sbin/hadoop-daemons.sh start journalnode

（在node3、node4、node5多了Journalnode程序）
4、格式化HDFS，在master執行

#/hadoop/bin/hdfs namenode -format

5、格式化ZK（在master的hadoop的bin目錄下）

#/hadoop/bin/hdfs zkfc -formatZK

6、啟動HDFS(在master上執行)

#~/hadoop/sbin/start-dfs.sh

7、#在node2上執行start-yarn.sh

#~/hadoop/sbin/start-yarn.sh

8、在master啟動spark叢集

#~/spark/sbin/start-all.sh 

啟動成功，可以在宿主機的瀏覽器中訪問： HDFS：master:50070 
YARN：node2:8088 
SPARK：master:8080 

（五）實現遠端監控與除錯

參考文章：http://dockone.io/article/1047，這篇文章揭示了為什麼要對master相關埠進行對映以及實現遠端監控核除錯的方法

（六）配置notebook

參考：http://www.tuicool.com/articles/nmquqi3 1、Create an ipython profile

#vim ~/.bashrc

export PYSPARK_DRIVER_PYTHON=ipython2 # As pyspark only works with python2 and not python3
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_SUBMIT_ARGS="--master spark://172.17.0.2:7077  pyspark-shell"

$ ipython profile create pyspark

# Possible outputs
# [ProfileCreate] Generating default config file: u'/Users/lim/.ipython/profile_pyspark/ipython_config.py'
# [ProfileCreate] Generating default config file: u'/Users/lim/.ipython/profile_pyspark/ipython_kernel_config.py'

2. Step 2: Create a startup file for this profile

$ touch ~/.ipython/profile_pyspark/startup/00-spark-setup.py

import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.2.1-src.zip'))#注意替換為自己系統裡的
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

3、啟動ipython pyspark

$ ipython --profile=spark

可以看到啟動了spark的ipython介面 4、配置notebook介面的pyspark $ mkdir -p ~/.ipython/kernels/pyspark $ touch ~/.ipython/kernels/pyspark/kernel.json

{
    "display_name": "PySpark (Spark 2.1.0)",
    "language": "python",
    "argv": [
        "/root/anaconda2/bin/python",
        "-m",
        "ipykernel",
        "--profile=pyspark",
        "-f",
        "{connection_file}"
    ]
}

$ jupyter notebook --ip=172.17.0.2
# ipython notebook works too

5、在區域網內訪問notebook 將notebook的8888埠向宿主機對映：

$iptables -t nat -A DOCKER ! -i docker0 -p tcp -m tcp --dport 8888 -j DNAT --to-destination 172.17.0.2:8888

$iptables -t nat -A POSTROUTING -s 172.17.0.2/32 -d 172.17.0.2/32 -p tcp -m tcp --dport 8888 -j  MASQUERADE

$iptables -t filter -A DOCKER -d 172.17.0.2/32 ! -i docker0 -o docker0 -p tcp -m tcp --dport 8888 -j ACCEPT