hadoop之java介面常見問題
阿新 • • 發佈:2018-12-16
1.Wrong FS: hdfs://192.168.117.101:9000/JAVA_learing.jar, expected: file:///
Path path = new Path(str);
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
FSDataInputStream in = fs.open(path);
當使用如上程式碼配置時,會報該錯,原因是系統不識別hdfs://地址系統 解決方案:
- 方案一:將core-site.xml,hdfs-site.xml檔案拷貝到java原始檔同級目錄下,當new Configuration()的時候會讀取這些配置檔案,建立和hdfs系統相匹配的Configuration
- 方案二:在new Configuration()之後使用conf.set(“fs.defaultFS”,“hdfs://hadoop101:9000/”)配置
- 方案三:使用FileSystem fs = FileSystem.get(URI.create(str),conf);
2.Permission denied: user=great, access=WRITE, inode="/":chen:supergroup:drwxr-xr-x
解決方案:
- 方案一:修改VM執行引數 “-DHADOOP_USER_NAME=chen”