1. 程式人生 > >spark讀取外部配置檔案之--files

spark讀取外部配置檔案之--files

在執行spark程式的時,有時需要讀取外部配置引數,比如mysql的host引數、埠號、es主機ip、es埠號等。通過外部檔案配置引數也方便程式遷移。下面就來看看如何來實現。

1、首先我們需要一個配置檔案:
property.yml

es.nodes: 192.16.8.16

es.port: 9200
2、上傳配置檔案到某個節點:

3、然後需要在程式里加上如下程式碼:
Properties props = new Properties();
props.load(new FileInputStream("property.yml"));
String nodes = props.getProperty("es.nodes"
); String port = props.getProperty("es.port");

4、通過 Maven打包程式:test.jar

5、上傳 test.jar 到叢集

6、執行 submit 命令

spark-submit --master yarn-cluster --class com. Test --files /home/lw/property.yml /home/lw/test.jar --files 引數指定我們需要載入的外部配置檔案


連結:spark讀取外部配置檔案