1. 程式人生 > >HDFS(二)——HDFS 常用命令

HDFS(二)——HDFS 常用命令

操作 HDFS 的命令主要分兩種:操作命令,管理命令。

一、操作命令

操作命令以 hdfs dfs ****開頭。

  1. -mkdir:建立目錄。

    例 1:hdfs dfs -mkdir /aaa—> 在 HDFS 的根目錄下建立一個目錄aaa。

    例 2:hdfs dfs -mkdir -p /bbb/ccc—> 在 HDFS 的 /bbb 目錄下建立 ccc 目錄,如果 bbb 不存在,先建立 bbb。

  2. -ls:列出某個目錄下的檔案,隱藏檔案,目錄。

    例 1:hdfs dfs -ls /—> 列出 HDFS 的根目錄下的所有檔案。

    例 2:hdfs dfs -ls -R /

    —> 列出 HDFS 的根目錄以及子目錄下的所有檔案。(簡寫:-lsr

  3. -put:上傳資料。

    例:hdfs dfs -put ~/a.txt /a.txt

  4. -copyFromLocal:上傳資料。

    例:hdfs dfs -copyFromLocal ~/b.txt /b.txt

  5. -moveFromLocal:上傳資料(相當於 ctrl + x 剪下)。

    例:hdfs dfs -moveFromLocal ~/c.txt /c.txt

  6. -copyToLocal:下載資料。

    例:hdfs dfs -copyToLocal /a.txt ~/aa.txt

  7. -get

    :下載資料。

    例:hdfs dfs -get /b.txt ~/b.ttt

  8. -rm:刪除目錄或檔案。

    例:hdfs dfs -rm /a.txt

  9. -rmr:刪除目錄或檔案(包含子目錄子檔案)。

    例:hdfs dfs -rmr /test

  10. -getmerge:把某個目錄下的所有檔案合併後下載到本地。

    例:hdfs dfs -getmerge /student ~/temp/alldata.txt,該命令會將 HDFS 的根目錄下的 student 目錄中的所有檔案的內容和並之後下載到本地 Linux 的目錄下並命名為 alldata.txt。

  11. -cp:在 HDFS 的目錄間進行復制。

    例:hdfs dfs -cp /a.txt /a1.txt

  12. -mv:在 HDFS 的目錄間進行移動。

    例:hdfs dfs -mv /a.txt /students

  13. -count:統計當前路徑下目錄的個數(包含本身),檔案的個數,檔案總大小(B),輸入路徑。

    例:hdfs dfs -count /tmp

    [[email protected] ~]# hdfs dfs -count /tmp
               8            3             150979 /tmp
    
  14. -du:統計當前路徑下每個檔案,目錄的大小(B)。

    例:hdfs dfs -du /

    [[email protected] ~]# hdfs dfs -du /
    0       /aaa
    60      /input
    0       /mydemo
    55      /output
    16      /ssss.txt
    16      /st.txt
    16      /st1.txt
    0       /system
    150979  /tmp
    
  15. -text:檢視檔案內容。

    例:hdfs dfs -text /a.txt

  16. -cat:檢視檔案內容。

    例:hdfs dfs -cat /a.txt

  17. balancer:平衡每個資料節點上的資料塊的個數。

    例:hdfs balancer

二、管理命令

管理命令以 hdfs dfsadmin ****開頭。

  1. -report:輸出 HDFS 的報告(Summary)。

    例:hdfs dfsadmin -report

    [[email protected] ~]# hdfs dfsadmin -report
    Configured Capacity: 50432839680 (46.97 GB)
    Present Capacity: 47918829568 (44.63 GB)
    DFS Remaining: 47918600192 (44.63 GB)
    DFS Used: 229376 (224 KB)
    DFS Used%: 0.00%
    Under replicated blocks: 0
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    Missing blocks (with replication factor 1): 0
    
    -------------------------------------------------
    Live datanodes (1):
    
    Name: 192.168.220.111:50010 (bigdata111)
    Hostname: bigdata111
    Decommission Status : Normal
    Configured Capacity: 50432839680 (46.97 GB)
    DFS Used: 229376 (224 KB)
    Non DFS Used: 2514010112 (2.34 GB)
    DFS Remaining: 47918600192 (44.63 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 95.01%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Wed Nov 21 23:44:46 CST 2018
    
  2. -safemode:開啟或關閉安全模式(安全模式預設關閉,開啟後將不能進行寫操作)。

    例 1:hdfs dfsadmin -safemode檢視有哪些引數)。

    [[email protected] ~]# hdfs dfsadmin -safemode
    Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]
    

    例 2:hdfs dfsadmin -safemode enter,進入安全模式。

    例 3:hdfs dfsadmin -safemode leave,退出安全模式。

    例 4:hdfs dfsadmin -safemode get,獲取當前安全模式的狀態。