指導手冊03：Hadoop基礎操作
阿新 • • 發佈：2018-10-05
查詢 web mdi 9.png add 訪問hdfs 遠程 mov onf
1．查詢存儲系統信息
（1）在WEB瀏覽器的地址欄輸入http://master:50070/
report：輸出文件系統的基本信息及相關數據統計。
-report -live：輸出文件系統中在線節點的基本信息及相關數據統計。
-report -dead：輸出文件系統中失效節點的基本信息及相關數據統計。
-report -decommissioning：輸出文件系統中停用節點的基本信息及相關數據統計。 例：hdfs dfsadmin –report –live 查看在線節點的基本信息,請填寫下表。
情景描述：
把存儲在本機中的原始數據文件email_log.txt上傳到Hadoop集群中的HDFS目錄/user/root/
1．HDFS的基本操作
在本地計算機的Web瀏覽器可遠程訪問HDFS的監控服務端口（http://master:50070）。當需要訪問HDFS上的目錄及文件時，推薦使用http://master:50070/nn_browsedfscontent.jsp 在集群服務器的終端輸入“hdfs dfs”命令，可以完成對HDFS目錄及文件的大部分管理操作。
(1) 創建新目錄
hdfs dfs -mkdir [-p] <path> -p:不加只能逐級創建目錄，加了可以多級創建目錄
例:
[root@master]#hdfs dfs –mkdir –p /user/dfstest
[root@master]#hdfs dfs –mkdir –p /user/test/example
(2) 上傳文件
命令 解釋
hdfs dfs [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] 將文件從本地文件系統拷貝到HDFS文件系統，主要參數<localsrc>為本地文件路徑，<dst>為拷貝的目標路徑。
hdfs dfs [-moveFromLocal <localsrc> ... <dst>] 將文件從本地文件系統移動到HDFS文件系統，主要參數<localsrc>為本地文件路徑，<dst>為移動的目標路徑。
hdfs dfs [-put [-f] [-p] [-l] <localsrc> ... <dst>]
將文件從本地文件系統上傳到HDFS文件系統，主要參數<localsrc>為本地文件路徑，<dst>為上傳的目標路徑。
例:
將集群服務器節點上的本地文件a.txt上傳到HDFS目錄/user/dfstest中。(a.txt請自行新建)
[root@master hadoop-2.6.4] #hdfs dfs –copyFromLocal a.txt /user/dfstest
[root@master hadoop-2.6.4] #hdfs dfs –moveFromLocal a.txt /user/dfstest/b.txt
[root@master hadoop-2.6.4] #hdfs dfs –put a.txt /user/dfstest/c.txt (3) 下載文件
命令 解釋
hdfs dfs [-copyToLocal [-p] [-ignoreCrc] [-crc] <src>... <localdst>] 將文件從HDFS文件系統拷貝到本地文件系統，主要參數<src>為HDFS文件系統路徑，<localdst>為本地文件系統路徑。
hdfs dfs [-get [-p] [-ignoreCrc] [-crc] <src>...<localdst>] 獲取HDFS文件系統上指定路徑的文件到本地文件系統，主要參數<src>為HDFS文件系統路徑，<localdst>為本地文件系統路徑。
例:
從/user/dfstest中下載a.txt和c.txt，存儲在集群服務器節點master上的本地目錄/data/hdfs_test/中。（hdfs_test目錄請自行創建）
[root@master hdfs_test] #hdfs dfs –copyToLocal /user/dfstest/a.txt
[root@master hdfs_test] #hdfs dfs get /user/dfstest/c.txt
[root@master hdfs_test] # ls (3) 查看文件內容
命令 解釋
hdfs dfs [-cat [-ignoreCrc] <src> ...] 查看HDFS文件內容，主要參數<src>指示文件路徑。
hdfs dfs [-tail [-f] <file>] 輸出HDFS文件最後1024字節，主要參數<file>指定文件。
例：
[root@master hdfs_test] #hdfs dfs –cat /user/dfstest/a.txt
[root@master hdfs_test] #hdfs dfs –tail /user/dfstest/c.txt (4) 刪除文件或目錄
命令 解釋
hdfs dfs [-rm [-f] [-r|-R] [-skipTrash] <src> ...] 刪除HDFS上的文件，主要參數-r用於遞歸刪除，<src>指定刪除文件的路徑。
hdfs dfs [-rmdir [--ignore-fail-on-non-empty] <dir> ...] 如果刪除的是一個目錄，則可以用該方法，主要參數<dir>指定目錄路徑。
例：
[root@master hdfs_test] #hdfs dfs –mkdir /user/dfstest/rmdir
[root@master hdfs_test] #hdfs dfs –rm /user/dfstest/c.txt
[root@master hdfs_test] #hdfs dfs –rmdir /user/dfstest/rmdir 2.上傳文件到HDFS
（1）把本地計算機硬盤中的數據文件email_log.txt傳輸到集群服務器（master）的本地目錄/root/hadoop。
可以使用SSH Secure等工具上傳。
（2）在集群服務器（master）的終端執行HDFS命令，上傳email_log.txt到HDFS目錄/user/root/
Hdfs dfs -put /root/hadoop/email_log.txt /user/root/
指導手冊03：Hadoop基礎操作
Part 1:查看Hadoop集群的基本信息1．查詢存儲系統信息
（1）在WEB瀏覽器的地址欄輸入http://master:50070/
請查看自己的Hadoop集群填寫下表
|
Configured Capacity:己配置的文件系統存儲總量 |
|
|
DFS Remaining :可使用的DFS存儲總量 |
|
|
Non DFS Used 被非DFS的應用所占用的存儲總量 |
|
|
DFS Used:己使用的 DFS存儲總量 |
|
|
Live Nodes: 在線的數據節點： |
|
（2）顯示數據節點信息
查詢HDFS信息的命令
report：輸出文件系統的基本信息及相關數據統計。
-report -live：輸出文件系統中在線節點的基本信息及相關數據統計。
-report -dead：輸出文件系統中失效節點的基本信息及相關數據統計。
-report -decommissioning：輸出文件系統中停用節點的基本信息及相關數據統計。 例：hdfs dfsadmin –report –live 查看在線節點的基本信息,請填寫下表。
|
節點名（Node） |
總存儲空間(capacity) |
己使用（DFS Used） |
DFS沒使用（Non DFS Used） |
DFS 剩余（Remaining） |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
（3）查詢集群的計算資源信息
在瀏覽器的地址欄輸入“http://master:8088/cluster/nodes”
繼續單擊頁面上的超鏈接“slave1:8042”,可以顯示計算機slave1的各項資源信息。
Part 2:上傳文件到HDFS目錄情景描述：
把存儲在本機中的原始數據文件email_log.txt上傳到Hadoop集群中的HDFS目錄/user/root/
1．HDFS的基本操作
在本地計算機的Web瀏覽器可遠程訪問HDFS的監控服務端口（http://master:50070）。當需要訪問HDFS上的目錄及文件時，推薦使用http://master:50070/nn_browsedfscontent.jsp 在集群服務器的終端輸入“hdfs dfs”命令，可以完成對HDFS目錄及文件的大部分管理操作。
(1) 創建新目錄
hdfs dfs -mkdir [-p] <path> -p:不加只能逐級創建目錄，加了可以多級創建目錄
例:
[root@master]#hdfs dfs –mkdir –p /user/dfstest
[root@master]#hdfs dfs –mkdir –p /user/test/example
(2) 上傳文件
命令 解釋
hdfs dfs [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] 將文件從本地文件系統拷貝到HDFS文件系統，主要參數<localsrc>為本地文件路徑，<dst>為拷貝的目標路徑。
hdfs dfs [-moveFromLocal <localsrc> ... <dst>] 將文件從本地文件系統移動到HDFS文件系統，主要參數<localsrc>為本地文件路徑，<dst>為移動的目標路徑。
hdfs dfs [-put [-f] [-p] [-l] <localsrc> ... <dst>]
將文件從本地文件系統上傳到HDFS文件系統，主要參數<localsrc>為本地文件路徑，<dst>為上傳的目標路徑。
例:
將集群服務器節點上的本地文件a.txt上傳到HDFS目錄/user/dfstest中。(a.txt請自行新建)
[root@master hadoop-2.6.4] #hdfs dfs –copyFromLocal a.txt /user/dfstest
[root@master hadoop-2.6.4] #hdfs dfs –moveFromLocal a.txt /user/dfstest/b.txt
[root@master hadoop-2.6.4] #hdfs dfs –put a.txt /user/dfstest/c.txt (3) 下載文件
命令 解釋
hdfs dfs [-copyToLocal [-p] [-ignoreCrc] [-crc] <src>... <localdst>] 將文件從HDFS文件系統拷貝到本地文件系統，主要參數<src>為HDFS文件系統路徑，<localdst>為本地文件系統路徑。
hdfs dfs [-get [-p] [-ignoreCrc] [-crc] <src>...<localdst>] 獲取HDFS文件系統上指定路徑的文件到本地文件系統，主要參數<src>為HDFS文件系統路徑，<localdst>為本地文件系統路徑。
例:
從/user/dfstest中下載a.txt和c.txt，存儲在集群服務器節點master上的本地目錄/data/hdfs_test/中。（hdfs_test目錄請自行創建）
[root@master hdfs_test] #hdfs dfs –copyToLocal /user/dfstest/a.txt
[root@master hdfs_test] #hdfs dfs get /user/dfstest/c.txt
[root@master hdfs_test] # ls (3) 查看文件內容
命令 解釋
hdfs dfs [-cat [-ignoreCrc] <src> ...] 查看HDFS文件內容，主要參數<src>指示文件路徑。
hdfs dfs [-tail [-f] <file>] 輸出HDFS文件最後1024字節，主要參數<file>指定文件。
例：
[root@master hdfs_test] #hdfs dfs –cat /user/dfstest/a.txt
[root@master hdfs_test] #hdfs dfs –tail /user/dfstest/c.txt (4) 刪除文件或目錄
命令 解釋
hdfs dfs [-rm [-f] [-r|-R] [-skipTrash] <src> ...] 刪除HDFS上的文件，主要參數-r用於遞歸刪除，<src>指定刪除文件的路徑。
hdfs dfs [-rmdir [--ignore-fail-on-non-empty] <dir> ...] 如果刪除的是一個目錄，則可以用該方法，主要參數<dir>指定目錄路徑。
例：
[root@master hdfs_test] #hdfs dfs –mkdir /user/dfstest/rmdir
[root@master hdfs_test] #hdfs dfs –rm /user/dfstest/c.txt
[root@master hdfs_test] #hdfs dfs –rmdir /user/dfstest/rmdir 2.上傳文件到HDFS
（1）把本地計算機硬盤中的數據文件email_log.txt傳輸到集群服務器（master）的本地目錄/root/hadoop。
可以使用SSH Secure等工具上傳。
（2）在集群服務器（master）的終端執行HDFS命令，上傳email_log.txt到HDFS目錄/user/root/
Hdfs dfs -put /root/hadoop/email_log.txt /user/root/
指導手冊03：Hadoop基礎操作