hdfs dfs -expunge  清理hdfs的垃圾空間

常用命令：

1.-help[cmd]顯示命令的幫助資訊

1.#hdfs dfs -help ls

2.-ls(r)顯示當前目錄下的所有檔案 -R層層迴圈資料夾

1.#hdfs dfs -ls /log/map
2.#hdfs dfs -lsr /log/ (遞迴顯示)

3. -mv 移動多個檔案目錄到目標目錄

1.#hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2

4.-cp複製多個檔案到目錄

1.#hdfs -dfs -cp /user/hadoop/file1 /user/hadoop/file2(將檔案從源路徑複製到目標路徑；
這個命令允許有多個源路徑，此時目標路徑必須是一個目錄)
 

5.-rmr刪除檔案

1.#hdfs dfs -rmr /log/map1  (遞迴刪除)

6.-put本地檔案複製到hdfs（hdfs file的父目錄一定要存在，否則命令不會執行,其實只是上傳一個檔案，重名了名而已）

1.hdfs dfs -put test.txt /log/map/

（put 後面是兩個路徑，一個是本地路徑，一個是hdfs路徑）

7.-copyFromLocal本地檔案複製到hdfs

1.#hdfs dfs -copyFromLocal /usr/data/text.txt /log/map1
(將本地的text.txt 複製到hdfs的/log/map1/下)

8.-moveFromLocal本地檔案移動到hdfs

1.#hdfs dfs -moveFromLocal /usr/data/text.txt /log/map1
(將本地檔案text.txt移動到hdfs的/log/map1/下)

9.-get[-ignoreCrc]複製檔案到本地，可以忽略CRC校驗

1.#hdfs dfs -get /log/map1/* .   (. 代表複製到本地當前目錄下)
2.#hdfs dfs -get /log/map1/* /usr/data (將hdfs下的/log/map1/下的所有檔案全部複製到本地的/usr/dta/下)

10.-cat在終端顯示檔案內容

1.#hdfs dfs -cat /log/map1/part-0000 |head (讀取hdfs上的/log/map1下的part-0000檔案    head引數，代表前十行。)


過濾grep
#hdfs dfs -cat /log/testlog/*  |  grep 過濾欄位
 

11.-mkdir 建立資料夾 後跟一個-p 可以建立不存在的父路徑

1.#hdfs dfs -mkdir  -p /dir1/dir11/dir111

12.看哪個檔案佔用的空間比較大

 hdfs dfs -du /		看那個檔案下佔用空間比較大

13.清除hdfs垃圾空間

 hdfs dfs -expunge  清理hdfs的垃圾空間