1. 程式人生 > 實用技巧 >HDFS常用命令操作

HDFS常用命令操作

HDFS常用操作命令如下:

  • 查詢目錄
# 檢視/目錄下的目錄和檔案
hadoop fs -ls / 
# 遞迴檢視/目錄下的目錄和檔案
hadoop fs -lsr /
  • 建立目錄
# 新增目錄/user/test,hdfs支援同時建立多級目錄(如果父目錄user不存在,會建立user和test兩級目錄)
hadoop fs -mkdir /user/test
  • 上傳、下載檔案
# 將1.txt檔案上傳到hdfs的/user/test目錄下
hadoop fs -put 1.txt /user/test
# 將1.txt檔案上傳到hdfs的/user/test目錄下,重新命名為2.txt
hadoop fs -put 1.txt /user/test/2.txt
# 將hdfs的/user/test/1.txt檔案下載到本機當前目錄下
hadoop fs -get /user/test/1.txt ./
# 將hdfs的/user/test/1.txt檔案下載到本機當前目錄下,並重新命名為2.txt
hadoop fs -get /user/test/1.txt ./2.txt
  • 刪除
# 注意刪除命令使用要慎重!!!
# 刪除檔案1.txt
hadoop fs -rm /user/test/1.txt 
# 刪除目錄/user/test
hadoop fs -rm /user/test
  • 移動
# 將1.txt檔案移動到/user/tmp目錄下
hadoop fs -mv /user/test/1.txt /user/tmp 
  • 複製
# cp命令適用於小規模資料拷貝,大規模資料,建議使用distcp命令
hadoop fs -cp /user/test/1.txt /user/tmp 將檔案1.txt拷貝到/user/tmp目錄下。
  • 大規模

  • 統計檔案容量

#統計/user/test目錄下每一子目錄及檔案的佔用空間容量
hadoop fs -du -h /user/test
# 統計/user/test目錄的佔用空間容量
hadoop fs -du -s -h /user/test 
  • 統計檔案數
# 統計/user/test目錄的資訊,返回結果依次為:資料夾總數量,檔案總數量,佔用空間容量,目錄
hadoop fs -count /user/test
# 統計/user/test目錄的資訊,返回結果自動單位換算
hadoop fs -count -h /user/test
  • 檢視檔案內容
# 檢視檔案內容-cat/-text
hadoop fs -cat /user/test/1.txt 
hadoop fs -text /user/test/1.txt
  • 建立空檔案
# 建立一個1.txt空檔案
hadoop fs -touchz /user/test/1.txt
  • 配額查詢
# 查詢/user/test帳號的配額,返回結果依次為:節點數總配額,剩餘節點數,空間總配額,剩餘空間,已用目錄數量,已用檔案數量,已用空間容量
hadoop fs -count -q /user/test