1. 程式人生 > >hdfs基本操作

hdfs基本操作

nbsp 配置 ext des hdf txt 端口 遞歸 出現

hdfs基本操作

1、查詢命令

  hadoop dfs -ls / 查詢/目錄下的所有文件和文件夾

  hadoop dfs -ls -R 以遞歸的方式查詢/目錄下的所有文件

2、創建文件夾

  hadoop dfs -mkdir /test 創建test文件夾

3、創建新的空文件

  hadoop dfs -touchz /aa.txt 在/目錄下創建一個空文件aa.txt

4、增加文件

  hadoop dfs -put aa.txt /test 將當前目錄下的aa.txt文件復制到/test目錄下(把-put換成-copyFromLocal效果一樣-moveFromLocal會移除本地文件)

5、查看文件內容

  hadoop dfs -cat /test/aa.txt 查看/test目錄下文件aa.txt的內容(將-cat 換成-text效果一樣)

6、復制文件

  hadoop dfs -copyToLocal /test/aa.txt . 將/test/aa.txt文件復制到當前目錄(.是指當前目錄,也可指定其他的目錄)

7、刪除文件或文件夾

  hadoop dfs -rm -r /test/aa.txt 刪除/test/aa.txt文件(/test/aa.txt可以替換成文件夾就是刪除文件夾)

8、重命名文件

  hadoop dfs -mv /aa.txt /bb.txt 將/aa.txt文件重命名為/bb.txt

9、將源目錄中的所有文件排序合並到一個本地文件

  hadoop dfs -getmerge / local-file 將/目錄下的所有文件合並到本地文件local-file中

hdfsWeb查看文件

1、通過命令行:

  hadoop dfs -ls /mydir/testdir

2、通過web界面

  1)、概述:

    在本地的瀏覽器輸入namenode節點服務器的ip或域名+端口(例如:我namenode幾點機器ip是10.9.1.101:9870),就可以看到hdfs集群的概述:

  2)、查看文件:

    點擊導航欄的Utilities按鈕,選擇查看文件或者日誌,選擇查看文件之後,然後再輸入欄輸入文件的路徑就可以查看文件了。

  3)、查看數據節點信息:

    點擊導航欄的Datanodes按鈕,然後出現以下頁面:

    此時假如點擊查看具體的數據節點的時候會報錯,因為你windows操作系統不能識別node101~node103,此時需要配置下widows的hosts文件,配置完了就好了。

    hdfs的web操作就說這麽多了,剩下的大家有興趣可以去慢慢的看了

註:hadoop 為用戶名如果你的名字不是這個就相應的修改下(如:hadoop dfs -cat /test/aa.txt ----> myname dfs -cat /test/aa.txt )。

hdfs基本操作