Hadoop中的一些基本操作——HDFS操作
1.顯示指定目錄的內容,若叢集根目錄有teacher目錄,顯示目錄內容則命令為
hadoop fs -ls /teacher
2.在指定位置建立目錄,若需要在叢集目錄中建立子目錄abc,則命令為
hadoop fs -mkdir /teacher/abc //在teacher目錄中建立子目錄
hadoop fs -mkdir /abc //在叢集根目錄建立子目錄
hadoop fs -mkdir -p /aaa/bbb/cc -p引數:允許一次性建立多級目錄
3.將本地檔案剪下到叢集指定位置,若本地/temp目錄下有一個檔案log.dat,需要剪下到student下,命令為
hadoop fs -moveFromLocal /temp/log.dat /student/
4.將本地檔案上傳到叢集指定位置,若本地/temp目錄下有一個檔案log.dat,上傳到student下,命令為
hadoop fs -put /temp/log.dat /student 或
hadoop fs -copyFromLocal /temp/log.dat /student
5.上傳檔案,若將本地/temp/data資料夾所有內容上傳到叢集的/student目錄下,命令為
hadoop fs -put /temp/data /student 或
hadoop fs -copyFromLocal /temp/data /student
6.複製叢集中檔案到叢集另一目錄,將/student下log.dat複製到/abc下並改名為tt.dat
hadoop fs -cp /student/log.dat /abc/tt.dat
7.刪除叢集中指定檔案,將/abc下的tt.dat刪除
hadoop fs -rm /abc/tt.dat
8.設定叢集中指定檔案的副本數量,若設定/student/log.dat的副本為2,命令為
hadoop fs -setrep 2 /student/log.dat
9.顯示叢集中指定檔案的內容,若顯示/student/log.dat的內容,命令為
hadoop fs -cat /student/log.dat
10.將叢集中指定檔案下載到本地,若將/student下log.dat檔案下載本地目錄下
hadoop fs -get /student/log.dat //當前目錄
hadoop fs -get /student/log.dat /temp //本地指定目錄 或
hadoop fs -copyToLocal /student/log.dat /temp