1. 程式人生 > >使用Java操作HDFS ----- 配置開發環境

使用Java操作HDFS ----- 配置開發環境

目錄

本開發環境基於windows作業系統來配置的,使用的HDFS版本是hadoop2.7.1

2、解壓 hadoop-2.7.1.tar.gz 到windows指定的目錄。如(D:\java\hadoop-2.7.1)

3、配置環境變數

第一步

第二步

第三步

4、壓縮包(hadoop-common-2.7.1-bin-master.zip)裡的hadoop.dll,並拷貝到c:\windows\system32目錄中。

5、在eclipse環境中建立一個maven專案,並引入依賴。

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.1</version>
</dependency>

6、將本地庫中jar包拷給學生

2 HDFS控制(Java)

hadoop中關於檔案操作類基本上全部是在org.apache.hadoop.fs包中,這些api能夠支援的操作包含:開啟檔案,讀寫檔案,刪除檔案等。

FileSystem,該類是個抽象類,只能通過來類的get方法得到具體類。get方法存在幾個過載版本,常用的是這個:

static FileSystem get(Configuration conf);