1. 程式人生 > >IDEA使用java遠端連結HDFS

IDEA使用java遠端連結HDFS

1、將hadoop叢集中任一節點下的core-site.xml和hdfs-site.xml新增到IDEA工程的resources目錄下

2、修改本機hosts檔案:C:\Windows\System32\drivers\etc\hosts,設定hadoop域名和ip地址的對映。

3、pom.xml檔案新增如下依賴:hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core

4、編寫測試程式碼:

  1. import java.net.URI;  
  2.   
  3. import org.apache.hadoop.conf.Configuration;  
  4. import org.apache.hadoop.fs.FSDataInputStream;  
  5. import org.apache.hadoop.fs.FileSystem;  
  6. import org.apache.hadoop.fs.Path;  
  7. import org.apache.hadoop.io.IOUtils;  
  8.   
  9.   
  10. public class Test {  
  11.     public static void main(String[] args) throws Exception {  
  12.         String uri="hdfs://IP/test/test.txt";  
  13.         Configuration configuration=new
     Configuration();  
  14.         FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);  
  15.         FSDataInputStream in=null;  
  16.         in=fileSystem.open(new Path(uri));   
  17.         IOUtils.copyBytes(in, System.out, 4096false);  
  18.         IOUtils.closeStream(in);  
  19.     }  
  20.