IDEA使用java遠端連結HDFS
阿新 • • 發佈:2018-11-08
1、將hadoop叢集中任一節點下的core-site.xml和hdfs-site.xml新增到IDEA工程的resources目錄下
2、修改本機hosts檔案:C:\Windows\System32\drivers\etc\hosts,設定hadoop域名和ip地址的對映。
3、pom.xml檔案新增如下依賴:hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-core
4、編寫測試程式碼:
- import java.net.URI;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.fs.FSDataInputStream;
- import org.apache.hadoop.fs.FileSystem;
- import org.apache.hadoop.fs.Path;
- import org.apache.hadoop.io.IOUtils;
- public class Test {
- public static void main(String[] args) throws Exception {
- String uri="hdfs://IP/test/test.txt";
- Configuration configuration=new
- FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);
- FSDataInputStream in=null;
- in=fileSystem.open(new Path(uri));
- IOUtils.copyBytes(in, System.out, 4096, false);
- IOUtils.closeStream(in);
- }
- }