1. 程式人生 > >Hadoop中的一些基本操作——HDFS操作

Hadoop中的一些基本操作——HDFS操作

1.顯示指定目錄的內容,若叢集根目錄有teacher目錄,顯示目錄內容則命令為

hadoop fs -ls /teacher

2.在指定位置建立目錄,若需要在叢集目錄中建立子目錄abc,則命令為

hadoop fs -mkdir /teacher/abc     //在teacher目錄中建立子目錄

hadoop fs -mkdir /abc             //在叢集根目錄建立子目錄

hadoop fs -mkdir -p /aaa/bbb/cc   -p引數:允許一次性建立多級目錄

3.將本地檔案剪下到叢集指定位置,若本地/temp目錄下有一個檔案log.dat,需要剪下到student下,命令為

hadoop fs -moveFromLocal /temp/log.dat /student/

4.將本地檔案上傳到叢集指定位置,若本地/temp目錄下有一個檔案log.dat,上傳到student下,命令為

hadoop fs -put /temp/log.dat /student  或

hadoop fs -copyFromLocal /temp/log.dat /student

5.上傳檔案,若將本地/temp/data資料夾所有內容上傳到叢集的/student目錄下,命令為

hadoop fs -put /temp/data /student 或

hadoop fs -copyFromLocal /temp/data /student

6.複製叢集中檔案到叢集另一目錄,將/student下log.dat複製到/abc下並改名為tt.dat

hadoop fs -cp /student/log.dat /abc/tt.dat

7.刪除叢集中指定檔案,將/abc下的tt.dat刪除

hadoop fs -rm /abc/tt.dat

8.設定叢集中指定檔案的副本數量,若設定/student/log.dat的副本為2,命令為

hadoop fs -setrep 2 /student/log.dat

9.顯示叢集中指定檔案的內容,若顯示/student/log.dat的內容,命令為

hadoop fs -cat  /student/log.dat

10.將叢集中指定檔案下載到本地,若將/student下log.dat檔案下載本地目錄下

hadoop fs -get /student/log.dat            //當前目錄

hadoop fs -get /student/log.dat  /temp     //本地指定目錄  或

hadoop  fs  -copyToLocal  /student/log.dat  /temp