第一種方式：打包到jar應用程序

操作：將第三方jar文件打包到最終形成的spark應用程序jar文件中

應用場景：第三方jar文件比較小，應用的地方比較少

第二種方式：spark-submit 參數 --jars

操作：使用spark-submit提交命令的參數: --jars

要求：

1、使用spark-submit命令的機器上存在對應的jar文件

2、至於集群中其他機器上的服務需要該jar文件的時候，通過driver提供的一個http接口來獲取該jar文件的(例如：http://192.168.187.146:50206/jars/mysql-connector-java-5.1.27-bin.jar Added By User)

## 配置參數：--jars JARS
如下示例：
$ bin/spark-shell --jars /opt/cdh-5.3.6/hive/lib/mysql-connector-java-5.1.27-bin.jar

應用場景：要求本地必須要有對應的jar文件

第三種方式：spark-submit 參數 --packages

操作：使用spark-submit提交命令的參數: --packages

## 配置參數：--packages  jar包的maven地址
如下示例：
$ bin/spark-shell --packages  mysql:mysql-connector-java:5.1
 
.27 --repositories http://maven.aliyun.com/nexus/content/groups/public/

## --repositories 為mysql-connector-java包的maven地址，若不給定，則會使用該機器安裝的maven默認源中下載
## 若依賴多個包，則重復上述jar包寫法，中間以逗號分隔
## 默認下載的包位於當前用戶根目錄下的.ivy/jars文件夾中

應用場景：本地可以沒有，集群中服務需要該包的的時候，都是從給定的maven地址，直接下載

第四種方式：添加到spark的環境變量

操作：更改Spark的配置信息:SPARK_CLASSPATH, 將第三方的jar文件添加到SPARK_CLASSPATH環境變量中

註意事項：要求Spark應用運行的所有機器上必須存在被添加的第三方jar文件

A.創建一個保存第三方jar文件的文件夾:
 命令：$ mkdir external_jars

B.修改Spark配置信息
 命令：$ vim conf/spark-env.sh
修改內容：SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/cdh-5.3.6/spark/external_jars/*

C.將依賴的jar文件copy到新建的文件夾中
命令：$ cp /opt/cdh-5.3.6/hive/lib/mysql-connector-java-5.1.27-bin.jar ./external_jars/

應用場景：依賴的jar包特別多，寫命令方式比較繁瑣，被依賴包應用的場景也多的情況下

備註：（只針對spark on yarn(cluster)模式）

spark on yarn(cluster)，如果應用依賴第三方jar文件

最終解決方案：將第三方的jar文件copy到${HADOOP_HOME}/share/hadoop/common/lib文件夾中(Hadoop集群中所有機器均要求copy)

spark-submit 應用程序第三方jar文件