hadoop實戰(四) HDFS常用操作指令
阿新 • • 發佈：2018-12-11
一、HDFS的概念和特性
首先，它是一個檔案系統，用於儲存檔案，通過統一的名稱空間——目錄樹來定位檔案。其次，它是分散式的，由很多伺服器聯合起來實現其功能，叢集中的伺服器有各自的角色重要特性如下：
（1）HDFS中的檔案在物理上是分塊儲存（block），塊的大小可以通過配置引數( dfs.blocksize)來規定，預設大小在hadoop2.x版本中是128M，老版本中是64M
（2）HDFS檔案系統會給客戶端提供一個統一的抽象目錄樹，客戶端通過路徑來訪問檔案，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
（3）目錄結構及檔案分塊資訊(元資料)的管理由namenode節點承擔——namenode是HDFS叢集主節點，負責維護整個hdfs檔案系統的目錄樹，以及每一個路徑（檔案）所對應的block塊資訊（block的id，及所在的datanode伺服器）
（4）檔案的各個block的儲存管理由datanode節點承擔
---- datanode是HDFS叢集從節點，每一個block都可以在多個datanode上儲存多個副本（副本數量也可以通過引數設定dfs.replication）
（5）HDFS是設計成適應一次寫入，多次讀出的場景，且不支援檔案的修改
（適合用來做資料分析，並不適合用來做網盤應用，因為，不便修改，延遲大，網路開銷大，成本太高）
二、命令列客戶端支援的命令引數
[-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] <localsrc> ... <dst>] [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] <path> ...] [-cp [-f] [-p] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] <path> ...] [-expunge] [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getmerge [-nl] <src> <localdst>] [-help [cmd ...]] [-ls [-d] [-h] [-R] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-usage [cmd ...]]
三、常用命令引數介紹
-help
功能：輸出這個命令引數手冊
-ls
功能：顯示目錄資訊
示例： hadoop fs -ls hdfs://hadoop-server01:9000/
備註：這些引數中，所有的hdfs路徑都可以簡寫
-->hadoop fs -ls / 等同於上一條命令的效果
-mkdir
功能：在hdfs上建立目錄
示例：hadoop fs -mkdir -p /aaa/bbb/cc/dd
-moveFromLocal
功能：從本地剪下貼上到hdfs
示例：hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd
-moveToLocal
功能：從hdfs剪下貼上到本地
示例：hadoop fs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt
--appendToFile
功能：追加一個檔案到已經存在的檔案末尾
示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txt
可以簡寫為：
Hadoop fs -appendToFile ./hello.txt /hello.txt
-cat
功能：顯示檔案內容
示例：hadoop fs -cat /hello.txt
-tail
功能：顯示一個檔案的末尾
示例：hadoop fs -tail /weblog/access_log.1
-text
功能：以字元形式列印一個檔案的內容
示例：hadoop fs -text /weblog/access_log.1
-chgrp
-chmod
-chown
功能：linux檔案系統中的用法一樣，對檔案所屬許可權
示例：
hadoop fs -chmod 666 /hello.txt
hadoop fs -chown someuser:somegrp /hello.txt
-copyFromLocal
功能：從本地檔案系統中拷貝檔案到hdfs路徑去
示例：hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/
-copyToLocal
功能：從hdfs拷貝到本地
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
-cp
功能：從hdfs的一個路徑拷貝hdfs的另一個路徑
示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
-mv
功能：在hdfs目錄中移動檔案
示例： hadoop fs -mv /aaa/jdk.tar.gz /
-get
功能：等同於copyToLocal，就是從hdfs下載檔案到本地
示例：hadoop fs -get /aaa/jdk.tar.gz
-getmerge
功能：合併下載多個檔案
示例：比如hdfs的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
-put
功能：等同於copyFromLocal
示例：hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
-rm
功能：刪除檔案或資料夾
示例：hadoop fs -rm -r /aaa/bbb/
-rmdir
功能：刪除空目錄
示例：hadoop fs -rmdir /aaa/bbb/ccc
-df
功能：統計檔案系統的可用空間資訊
示例：hadoop fs -df -h /
-du
功能：統計資料夾的大小資訊
示例：
hadoop fs -du -s -h /aaa/*
-count
功能：統計一個指定目錄下的檔案節點數量
示例：hadoop fs -count /aaa/
-setrep
功能：設定hdfs中檔案的副本數量
示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz