1. 程式人生 > >pyspark啟動與簡單使用----本地模式(local)----shell

pyspark啟動與簡單使用----本地模式(local)----shell

在Spark中採用本地模式啟動pyspark的命令主要包含以下引數:–master:這個引數表示當前的pyspark要連線到哪個master,如果是local[*],就是使用本地模式啟動pyspark,其中,中括號內的星號表示需要使用幾個CPU核心(core);–jars: 這個引數用於把相關的JAR包新增到CLASSPATH中;如果有多個jar包,可以使用逗號分隔符連線它們;

1比如,要採用本地模式,在4個CPU核心上執行pyspark:

cd ~/app/spark-2.3.0-bin-2.6.0-cdh5.7.0/
./bin/pyspark --master local[4]

可以在CLASSPATH中新增code.jar,命令如下:

./bin/pyspark --master local[4] --jars code.jar 

檢視完整命令方法介紹

./bin/pyspark --help

採用本地模式執行,並且使用本地所有的CPU核心。相當於bin/pyspark–master local[*]

./bin/pyspark