1. 程式人生 > >hadoop之java介面常見問題

hadoop之java介面常見問題

1.Wrong FS: hdfs://192.168.117.101:9000/JAVA_learing.jar, expected: file:///

        Path path = new Path(str);
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        FSDataInputStream in = fs.open(path);

當使用如上程式碼配置時,會報該錯,原因是系統不識別hdfs://地址系統 解決方案:

  • 方案一:將core-site.xml,hdfs-site.xml檔案拷貝到java原始檔同級目錄下,當new Configuration()的時候會讀取這些配置檔案,建立和hdfs系統相匹配的Configuration
  • 方案二:在new Configuration()之後使用conf.set(“fs.defaultFS”,“hdfs://hadoop101:9000/”)配置
  • 方案三:使用FileSystem fs = FileSystem.get(URI.create(str),conf);

2.Permission denied: user=great, access=WRITE, inode="/":chen:supergroup:drwxr-xr-x

解決方案:

  • 方案一:修改VM執行引數 “-DHADOOP_USER_NAME=chen”
  • 在這裡插入圖片描述