1. 程式人生 > >spark 本地檔案上傳hdfs

spark 本地檔案上傳hdfs

關於spark的部署要明白

我們經常操作的是spark中的client那臺,也就是所謂的本地伺服器,和spark叢集進行互動。

如何上傳本地到hdfs呢?

例子:本地檔案first.txt

            則用命令 hadoop fs -put 本地路徑\first.txt  叢集路徑(如:/user/sparker/mydir/),就OK了

使用pyspark測試一下:lines = sc.textFile("叢集路徑/first.txt")

                          lines.count()

                          lines.first()