使用Java操作HDFS ----- 配置開發環境
阿新 • • 發佈:2018-12-20
目錄
本開發環境基於windows作業系統來配置的,使用的HDFS版本是hadoop2.7.1
2、解壓 hadoop-2.7.1.tar.gz 到windows指定的目錄。如(D:\java\hadoop-2.7.1)
3、配置環境變數
第一步
第二步
第三步
4、壓縮包(hadoop-common-2.7.1-bin-master.zip)裡的hadoop.dll,並拷貝到c:\windows\system32目錄中。
5、在eclipse環境中建立一個maven專案,並引入依賴。
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.1</version> </dependency>
6、將本地庫中jar包拷給學生
2 HDFS控制(Java)
hadoop中關於檔案操作類基本上全部是在org.apache.hadoop.fs包中,這些api能夠支援的操作包含:開啟檔案,讀寫檔案,刪除檔案等。
FileSystem,該類是個抽象類,只能通過來類的get方法得到具體類。get方法存在幾個過載版本,常用的是這個:
static FileSystem get(Configuration conf);