hdfs shell的基本操作以及hdfsWeb檢視檔案

在安裝好hadoop叢集併成功的啟動了hdfs之後，我們就可以利用hdfs對檔案進行操作了，一下是對檔案的一些基本操作

特別注意：訪問HDFS目錄時，一定要帶有/  否則命令會出錯！

hdfs基本操作

1、查詢命令

　　hdfs dfs -ls /   查詢/目錄下的所有檔案和資料夾

　　hdfs dfs -ls -R 以遞迴的方式查詢/目錄下的所有檔案

2、建立資料夾

　　hdfs dfs -mkdir /test    建立test資料夾

3、建立新的空檔案

　　hdfs dfs -touchz /aa.txt   在/目錄下建立一個空檔案aa.txt

4、增加檔案

　　hdfs dfs -put aa.txt /test  將當前目錄下的aa.txt檔案複製到/test目錄下（把-put換成-copyFromLocal效果一樣-moveFromLocal會移除本地檔案）

5、檢視檔案內容

　　hdfs dfs -cat /test/aa.txt     檢視/test目錄下檔案aa.txt的內容（將-cat 換成-text效果一樣）

6、複製檔案 

　　hdfs dfs -copyToLocal /test/aa.txt .       將/test/aa.txt檔案複製到當前目錄（.是指當前目錄，也可指定其他的目錄）

7、刪除檔案或資料夾

　　hdfs dfs -rm -r /test/aa.txt   刪除/test/aa.txt檔案（/test/aa.txt可以替換成資料夾就是刪除資料夾）

8、重新命名檔案

　　hdfs dfs -mv /aa.txt /bb.txt   將/aa.txt檔案重新命名為/bb.txt

9、將源目錄中的所有檔案排序合併到一個本地檔案

　　hdfs  dfs -getmerge /   local-file  將/目錄下的所有檔案合併到本地檔案local-file中

10、檢視hadoop日誌的方法  ---tail命令

       tail -500 hadoop-root-resourcemanager-VM-0-10-ubuntu.log 

11、關閉HDFS

      可以使用下面的命令關閉HDFS。

$ stop-dfs.sh 

hdfsWeb檢視檔案

1、概述：

　　在本地的瀏覽器輸入namenode節點伺服器的ip或域名+埠（例如：我namenode幾點機器ip是132.232.28.164:9870），就可以看到hdfs叢集的概述：

2、檢視檔案：

　　點選導航欄的Utilities按鈕，選擇檢視檔案或者日誌，選擇檢視檔案之後會出現以下的介面：

3、檢視資料節點資訊：

　　點選導航欄的Datanodes按鈕，然後出現以下頁面：

     此時假如點選檢視具體的資料節點的時候會報錯，因為你windows作業系統不能識別node101~node103，此時需要配置下widows的hosts檔案，配置完了就好了。hdfs的web操作就說這麼多了，剩下的大家有興趣可以去慢慢的看了