hdfs copyToLocalFile拷貝檔案到本地
阿新 • • 發佈:2018-12-04
有時候需要將叢集上的檔案拷貝到執行機工作目錄裡,常使用copyToLocalFile函式
程式碼如下:
public static void getFileFromHDFS(String hdfssrc, String localdst) { Log.info("copy file from hdfs to local..."); Configuration conf = new Configuration(); Path src = new Path(hdfssrc); Path dst = new Path(localdst); try { FileSystem fs = src.getFileSystem(conf); fs.copyToLocalFile(false, src, dst, true); fs.close(); } catch (IOException e) { e.printStackTrace(); } }
FileSystem的獲取很關鍵,如果使用 FileSystem fs= FileSystem.get(conf); 獲取fs會出現類似如下錯誤
Error: java.lang.IllegalArgumentException: Wrong FS: hdfs://expected: viewfs://nsX/
大多數網上說的做法是把叢集上的core-site.xml和hdfs-site.xml放到當前工程下,但這不是正規處理。正確做法是使用srcPath生成FileSystem