機器環境

• centos7
• 記憶體4G

拉取映象

• 映象有2G多，下載時間比較長 = =！

docker pull sequenceiq/spark:1.6.0

啟動映象

• 啟動前，在/etc/hosts檔案中，新增上：本機IP sandbox
• 正式啟動

docker run -it -p 8088:8088 -p 8042:8042 -h sandbox sequenceiq/spark:1.6.0 bash

• 出現 bash-4.1#> 證明啟動成功

測試Spark例子

• 執行

spark-shell \
--master yarn-client \
 
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1

• 出現 scala> 說明啟動成功
• 再執行

sc.parallelize(1 to 1000).count()

• 結果：