HDFS偽分布式環境操作
阿新 • • 發佈:2018-04-07
。/;(一)、HDFS shell操作
以上已經介紹了如何搭建偽分布式的Hadoop,既然環境已經搭建起來了,那要怎麽去操作呢?這就是本節將要介紹的內容: HDFS自帶有一些shell命令,通過這些命令我們可以去操作HDFS文件系統,這些命令與Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,關於這些命令的官方文檔地址如下: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html 1.1 首先我們在/data下創建一個測試文件: [root@web02 data]# vim hello.txt 18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 如果遇到以上報錯修改 [root@web02 hadoop]# pwd /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop [root@web02 hadoop]# vim log4j.properties 添加: log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
1.2查看文件系統的根目錄
[root@web02 data]# hdfs dfs -ls /
1.3.將剛剛創建的文件拷貝到文件系統的根目錄下:
[root@web02 data]# hdfs dfs -ls / Found 1 items -rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt [root@web02 data]#
1.4.查看文件內容:
[root@web02 data]# hdfs dfs -cat /hello.txt
hello You 66 O
Hadoop HDFS mpareduce
1.5創建目錄
[root@web02 data]# hdfs dfs -mkdir /test [root@web02 data]# hdfs dfs -ls / Found 2 items -rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt drwxr-xr-x - root supergroup 0 2018-04-07 12:20 /test [root@web02 data]#
1.6遞歸創建目錄
[root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c
1.7查看遞歸目錄
[root@web02 data]# hdfs dfs -ls -R /
1.8復制文件
[root@web02 data]# hdfs dfs -copyFromLocal
./hello.txt /test/a/b
[root@web02 data]# hdfs dfs -ls -R /
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a
drwxr-xr-x - root supergroup 0 2018-04-07 12:28 /test/a/b
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a/b/c
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:28 /test/a/b/hello.txt
[root@web02 data]#
1.9從系統中拿出文件
[root@web02 data]# hdfs dfs -get /test/a/b/hello.txt
2.0刪除文件
[root@web02 data]# hdfs dfs -rm /hello.txt
Deleted /hello.txt
[root@web02 data]#
2.1刪除目錄
[root@web02 data]# hdfs dfs -rm -R /test
Deleted /test
[root@web02 data]#
以上就是最為常用的一些操作命令了,如果需要使用其他命令,直接執行hdfs dfs就可以查看到所支持的所有命令。
接下來我們在瀏覽器裏查看文件系統,首先將剛剛刪除的文件put回去:
2.2查看文件信息
HDFS偽分布式環境操作