在虛擬機器上搭執行spark程式的時候：

 spark-submit  --queue media --class test.SparkStreamingDemo  --master yarn-cluster --executor-memory 2g  --executor-cores 2 --conf spark.yarn.submit.waitAppCompletion=false  ~/shengjunyang/etl-anal-1.0-SNAPSHOT-jar-with-dependencies.jar  localhost 9999

報錯：

Exception in thread "main" java.lang.Exception: When running with master 'yarn-cluster' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
解決方法： hadoop，spark預設安裝在usr/local目錄下。搭建的教程可以參照廈門大學資料庫實驗室

通過下面命令可以測試spark是否安裝成功：

環境變數配置

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
PATH=$PATH:$HIVE_HOME/bin:$HADOOP_HOME/bin

小技巧：

spark-submit 測試安裝是否成功
 

cd /usr/local/spark
./bin/run-example SparkPi 2>&1 | grep "Pi is"

Shell中管道命令操作符為”|”，僅能處理前面的一個指令傳出的正確輸出資訊，也就是標準輸出的資訊(沒法處理錯誤資訊)。然後傳遞給下一個命令，作為標準的輸入。grep是過濾選出Pi is 的列印語句