1. 程式人生 > >Hadoop參考命令大全

Hadoop參考命令大全

列出HDFS檔案系統指定目錄下檔案:hadoop dfs –ls 目錄

-d:只顯示目錄資訊,不顯示子目錄
-h:以M為單位的記憶體顯示
-R:子目錄遞迴顯示

HDFS建立目錄:hadoop fs -mkdir [-p]
HDFS刪除目錄:hadoop fs -rmdir [–ignore-fail-on-non-empty] URI [URI …]建立空建立空檔案:hadoop fs -touchz pathname

清空所有檔案資訊: hadoop fs -truncate [-w]

-w:如果要清空檔案正在處理,則必須等待其處理完成之後再清空,這個期間該檔案不能再次被開啟

上傳檔案到HDFS: Hadoop dfs -put 本地檔案路徑 HDFS檔案目錄
從HDFS下載檔案:hadoop dfs –get hdfs檔案路徑 本地目錄

本地檔案複製到HDFS:Hadoop dfs [-f] [-p] 本地檔案路徑 HDFS檔案目錄
本地目錄複製到HDFS: hadoop dfs -copyFromLocal 本地路徑 HDFS目錄路徑

複製HDFS檔案到本地:hadoop dfs -copyToLocal hdfs檔案 本地目錄

本地目錄移動到HDFS: hadoop fs -moveFromLocal 先複製後刪除本地目錄
HDFS目錄移動本地:hadoop fs -moveToLocal [-crc] hdfs檔案路徑 本地目錄(還未實現)

HDFS檔案系統檔案移動:hadoop fs -mv URI [URI …] hdfs檔案路徑

注意:只能在同一個HDFS內部移動,不能通過網路等途徑跨檔案系統移動

檔案資料追加:hadoop fs -appendToFile 本地檔案 hdfs檔案路徑

查詢指定目錄的子目錄資訊:hadoop fs -count [-q] [-h] [-v]

-q : 指定輸出列引數項
-h: 顯示檔案的大小
-v: 顯示標題行
返回:成功 0 失敗 -1

HDFS刪除檔案目錄:hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI …]

-f:如果檔案不存在不會顯示錯誤等提示資訊
-R/-r:等價:遞迴刪除子目錄
-skipTrash:清理垃圾檔案,對於從超過檔案容量的目錄中刪除檔案很有用

檢視HDFS文字檔案資訊:hadoop dfs –cat hdfs檔案路徑

查詢可用HDFS記憶體空間:hadoop fs -df [-h] URI [URI …]

-h:將記憶體以M的形式形式

查詢目錄下檔案資訊:hadoop fs -du [-s] [-h] URI [URI …]

-h: -h:將記憶體以M的形式形式
-s : 統計所有子檔案資訊,統一展示

個性化查詢目錄資訊: hadoop fs -stat [format] …

%F:顯示檔案的型別:目錄/檔案
%u:顯示檔案的擁有者
%g:顯示檔案的組別
%o:按照塊的檔案大小
%r:顯示檔案的複製因子
%y:顯示檔案的修改日期
%n:顯示檔名

查詢檔案最後1M的資訊: hadoop fs -tail [-f] URI

-f:輸出檔案增長的資料:動態顯示

測試檔案的資訊:hadoop fs -test -[defsz] URI

-d:判斷檔案是否是目錄型別:0
-e:判斷檔案是否存在:0
-f:判斷檔案是否是檔案型別: 0
-s:判斷檔案是否非空: 0
-z:判斷檔案是0位元組 :0

查詢檔案:hadoop fs -find hdfs檔案路徑 檔案名錶達式

例:hdfs dfs -find /user/squirrel -name spark* -print
-name:查詢檔名的表示式:支援正則表示式
-print:列印檔案路徑資訊

顯示HDFS檔案訪問授權資訊:hadoop fs -getfacl [-R]

-R:顯示目錄子檔案的許可權資訊
注意:開啟檔案ACL訪問資訊查詢許可權:dfs.namenode.acls.enabled true

設定檔案的訪問許可權:hadoop fs -setfacl [-R] [-b |-k -m |-x acl_spec path] |[–set ]

-b:刪除除了基礎許可權的所有許可權
-k:清除預設許可權
-R:遞迴授予子檔案許可權
-m:修改ACL,新增新的許可權資訊,原有的許可權會保留
-x:清楚指定的ACL實體資訊
–set:替換原有的ACL資訊,重新授權
例:hadoop fs -setfacl –set user::rw- /file

顯示文字檔案資訊:hadoop dfs -cat 檔案路徑 或者 hadoop dfs -text 檔案路徑

設定HDFS檔案的備份因子:hadoop fs -setrep [-R] [-w] 備份數 hdfs檔案

-W:要求等待備份命令的完成,可能需要消耗很多時間
-R:遞迴子類檔案備份銀子設定

合併HDFS的檔案到本地:hadoop fs -getmerge [-nl] hdfs檔案列表 本地檔案路徑

-nl:每個檔案之間的內容使用空行分開

控制HDFS檔案訪問許可權:dfs -chmod -R 777 HDFS檔案路徑(避免出現permission denied問題)

hadoop dfsadmin –report:檢視hdfs的狀態報告

hadoop安全模式處理:hadoop dfsadmin –safemode enter/leave