1. 程式人生 > >hdfs copyToLocalFile拷貝檔案到本地

hdfs copyToLocalFile拷貝檔案到本地

有時候需要將叢集上的檔案拷貝到執行機工作目錄裡,常使用copyToLocalFile函式
程式碼如下:

public static void getFileFromHDFS(String hdfssrc, String localdst) {
    Log.info("copy file from hdfs to local...");
    Configuration conf = new Configuration();
    Path src = new Path(hdfssrc);
    Path dst = new Path(localdst);
    try {
      FileSystem fs = src.getFileSystem(conf);
      fs.copyToLocalFile(false, src, dst, true);
      fs.close();
    } catch (IOException e) {
      e.printStackTrace();
    }
  }

FileSystem的獲取很關鍵,如果使用 FileSystem fs= FileSystem.get(conf); 獲取fs會出現類似如下錯誤
Error: java.lang.IllegalArgumentException: Wrong FS: hdfs://expected: viewfs://nsX/
大多數網上說的做法是把叢集上的core-site.xml和hdfs-site.xml放到當前工程下,但這不是正規處理。正確做法是使用srcPath生成FileSystem