HDFS(二)——HDFS 常用命令
操作 HDFS 的命令主要分兩種:操作命令,管理命令。
一、操作命令
操作命令以 hdfs dfs ****
開頭。
-
-mkdir
:建立目錄。例 1:
hdfs dfs -mkdir /aaa
—> 在 HDFS 的根目錄下建立一個目錄aaa。例 2:
hdfs dfs -mkdir -p /bbb/ccc
—> 在 HDFS 的 /bbb 目錄下建立 ccc 目錄,如果 bbb 不存在,先建立 bbb。 -
-ls
:列出某個目錄下的檔案,隱藏檔案,目錄。例 1:
hdfs dfs -ls /
—> 列出 HDFS 的根目錄下的所有檔案。例 2:
hdfs dfs -ls -R /
-lsr
) -
-put
:上傳資料。例:
hdfs dfs -put ~/a.txt /a.txt
。 -
-copyFromLocal
:上傳資料。例:
hdfs dfs -copyFromLocal ~/b.txt /b.txt
。 -
-moveFromLocal
:上傳資料(相當於 ctrl + x 剪下)。例:
hdfs dfs -moveFromLocal ~/c.txt /c.txt
。 -
-copyToLocal
:下載資料。例:
hdfs dfs -copyToLocal /a.txt ~/aa.txt
。 -
-get
例:
hdfs dfs -get /b.txt ~/b.ttt
。 -
-rm
:刪除目錄或檔案。例:
hdfs dfs -rm /a.txt
。 -
-rmr
:刪除目錄或檔案(包含子目錄子檔案)。例:
hdfs dfs -rmr /test
。 -
-getmerge
:把某個目錄下的所有檔案合併後下載到本地。例:
hdfs dfs -getmerge /student ~/temp/alldata.txt
,該命令會將 HDFS 的根目錄下的 student 目錄中的所有檔案的內容和並之後下載到本地 Linux 的目錄下並命名為 alldata.txt。 -
-cp
:在 HDFS 的目錄間進行復制。例:
hdfs dfs -cp /a.txt /a1.txt
。 -
-mv
:在 HDFS 的目錄間進行移動。例:
hdfs dfs -mv /a.txt /students
。 -
-count
:統計當前路徑下目錄的個數(包含本身),檔案的個數,檔案總大小(B),輸入路徑。例:
hdfs dfs -count /tmp
。[[email protected] ~]# hdfs dfs -count /tmp 8 3 150979 /tmp
-
-du
:統計當前路徑下每個檔案,目錄的大小(B)。例:
hdfs dfs -du /
[[email protected] ~]# hdfs dfs -du / 0 /aaa 60 /input 0 /mydemo 55 /output 16 /ssss.txt 16 /st.txt 16 /st1.txt 0 /system 150979 /tmp
-
-text
:檢視檔案內容。例:
hdfs dfs -text /a.txt
。 -
-cat
:檢視檔案內容。例:
hdfs dfs -cat /a.txt
。 -
balancer
:平衡每個資料節點上的資料塊的個數。例:
hdfs balancer
。
二、管理命令
管理命令以 hdfs dfsadmin ****
開頭。
-
-report
:輸出 HDFS 的報告(Summary)。例:
hdfs dfsadmin -report
。[[email protected] ~]# hdfs dfsadmin -report Configured Capacity: 50432839680 (46.97 GB) Present Capacity: 47918829568 (44.63 GB) DFS Remaining: 47918600192 (44.63 GB) DFS Used: 229376 (224 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 Missing blocks (with replication factor 1): 0 ------------------------------------------------- Live datanodes (1): Name: 192.168.220.111:50010 (bigdata111) Hostname: bigdata111 Decommission Status : Normal Configured Capacity: 50432839680 (46.97 GB) DFS Used: 229376 (224 KB) Non DFS Used: 2514010112 (2.34 GB) DFS Remaining: 47918600192 (44.63 GB) DFS Used%: 0.00% DFS Remaining%: 95.01% Configured Cache Capacity: 0 (0 B) Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Xceivers: 1 Last contact: Wed Nov 21 23:44:46 CST 2018
-
-safemode
:開啟或關閉安全模式(安全模式預設關閉,開啟後將不能進行寫操作)。例 1:
hdfs dfsadmin -safemode
(檢視有哪些引數)。[[email protected] ~]# hdfs dfsadmin -safemode Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
例 2:
hdfs dfsadmin -safemode enter
,進入安全模式。例 3:
hdfs dfsadmin -safemode leave
,退出安全模式。例 4:
hdfs dfsadmin -safemode get
,獲取當前安全模式的狀態。