1. 程式人生 > >HDFS基本命令的使用

HDFS基本命令的使用

hdfs檔案的相關操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令,以下對最常用的相關命令進行簡要說明。
hadoop fs -ls  顯示當前目錄結構,-ls -R 遞迴顯示目錄結構
hadoop fs -mkdir  建立目錄
hadoop fs -rm   刪除檔案,-rm -R 遞迴刪除目錄和檔案
hadoop fs -put  [localsrc] [dst]  從本地載入檔案到HDFS
hadoop fs -get  [dst] [localsrc]  從HDFS匯出檔案到本地
hadoop fs - copyFromLocal [localsrc] [dst]  從本地載入檔案到HDFS,與put一致
hadoop fs -copyToLocal [dst] [localsrc]  從HDFS匯出檔案到本地,與get一致
hadoop fs -test -e  檢測目錄和檔案是否存在,存在返回值$?為0,不存在返回1
hadoop fs -text  檢視檔案內容
hadoop fs -du  統計目錄下各檔案大小,單位位元組。-du -s 彙總目錄下檔案大小,-du -h 顯示單位
hadoop fs -tail  顯示檔案末尾
hadoop fs -cp [src] [dst] 從源目錄複製檔案到目標目錄

hadoop fs -mv [src] [dst] 從源目錄移動檔案到目標目錄

下面的對上面命令的操作演示

1,hadoop fs -ls  顯示當前目錄結構,-ls -R 遞迴顯示目錄結構


2,hadoop fs -mkdir  建立目錄


3,hadoop fs -rm   刪除檔案,-rm -R 遞迴刪除目錄和檔案


4,hadoop fs -put  [localsrc] [dst]  從本地載入檔案到HDFS


5,hadoop fs -get  [dst] [localsrc]  從HDFS匯出檔案到本地


6,hadoop fs - copyFromLocal [localsrc] [dst]  從本地載入檔案到HDFS,與put一致

7,hadoop fs -copyToLocal [dst] [localsrc]  從HDFS匯出檔案到本地,與get一致

8,hadoop fs -test -e  檢測目錄和檔案是否存在,存在返回值$?為0,不存在返回1

9,hadoop fs -text  檢視檔案內容


10,hadoop fs -du  統計目錄下各檔案大小,單位位元組。-du -s 彙總目錄下檔案大小,-du -h 顯示單位


11,hadoop fs -tail  顯示檔案末尾


12,hadoop fs -cp [src] [dst] 從源目錄複製檔案到目標目錄

13,hadoop fs -mv [src] [dst] 從源目錄移動檔案到目標目錄