hadoop 檔案系統配置檔案按如下查詢順序

1. hadoop jar裡的hadoop-default.xml
2. $HADOOP_CONF_DIR下的hadoop-default.xml
3. $HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表將本地檔案系統作為hadoop的DFS。
4. 如果傳遞uri做引數，那麼就是特定的檔案系統作為DFS。

• 1
• 2
• 3
• 4

命令詳情

1. Hadoop fs –fs [local | <file system URI>]：

列出在指定目錄下的檔案內容，支援pattern匹配。輸出格式如filename(full path)   <r
 
 n> size. 其中n代表replica的個數，size代表大小（單位bytes）。
2. hadoop fs –ls <path>

遞迴列出匹配pattern的檔案資訊，類似ls，只不過遞迴列出所有子目錄資訊。
3. hadoop fs –lsr <path>：

列出匹配pattern的指定的檔案系統空間總量（單位bytes），等價於unix下的針對目錄的du –sb <path>/*和針對檔案的du –b <path> ，輸出格式如name(full path)  size(in bytes)。
4. hadoop fs –du <path
 
>

等價於-du，輸出格式也相同，只不過等價於unix的du -sb。
5. hadoop fs –dus <path>

將制定格式的檔案 move到指定的目標位置。當src為多個檔案時，dst必須是個目錄。
6. hadoop fs –mv <src> <dst>

拷貝檔案到目標位置，當src為多個檔案時，dst必須是個目錄。
7. hadoop fs –cp <src> <dst>

刪除匹配pattern的指定檔案，等價於unix下的rm <src>
8. hadoop fs –rm [-skipTrash] <src
 
>

遞迴刪掉所有的檔案和目錄，等價於unix下的rm –rf <src>
9. hadoop fs –rmr [skipTrash] <src>

等價於unix的rm –rfi <src>
10. hadoop fs –rmi [skipTrash] <src>

從本地系統拷貝檔案到DFS
11. hadoop fs –put <localsrc> … <dst>

等價於-put
12. hadoop fs –copyFromLocal <localsrc> … <dst>

等同於-put，只不過原始檔在拷貝後被刪除
13. hadoop fs –moveFromLocal <localsrc> … <dst>

從DFS拷貝檔案到本地檔案系統，檔案匹配pattern，若是多個檔案，則dst必須是目錄
14. hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>

顧名思義，從DFS拷貝多個檔案、合併排序為一個檔案到本地檔案系統
15. hadoop fs –getmerge <src> <localdst>

 輸出檔案內容
16. hadoop fs –cat <src>

等價於-get
17. hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>

在指定位置建立目錄
18. hadoop fs –mkdir <path>

設定檔案的備份級別，-R標誌控制是否遞迴設定子目錄及檔案
19. hadoop fs –setrep [-R] [-w] <rep> <path/file>

修改檔案的許可權，-R標記遞迴修改。MODE為a+r,g-w,+rwx等，OCTALMODE為755這樣
20. hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…

修改檔案的所有者和組。-R表示遞迴
21. hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH…

等價於-chown … :GROUP …
22. hadoop fs -chgrp [-R] GROUP PATH…

計數檔案個數及所佔空間的詳情，輸出表格的列的含義依次為：DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME或者如果加了-q的話，還會列出QUOTA,REMAINING_QUOTA,SPACE_QUOTA,REMAINING_SPACE_QUOTA
23. hadoop fs –count[-q] <path>