1. 程式人生 > >hadoop基本操作命令小結

hadoop基本操作命令小結

已經搞定,接下來就是開發hadoop程式了。但在這之前熟悉下hadoop的基本操作命令非常有必要,以下就先簡單的小結下:

啟動和關閉Hadoop

啟動Hadoop
1.進入HADOOP_HOME目錄。
2.執行bin/start-all.sh

關閉Hadoop
1.進入HADOOP_HOME目錄。
2.執行bin/stop-all.sh

HDFS檔案檔案系統操作 Hadoop使用的是HDFS,能夠實現的功能和我們使用的磁碟系統

類似。並且支援萬用字元,如*。

 
檢視檔案列表
檢視hdfs中/user/hadoop目錄下的檔案和目錄。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs -ls /user/hadoop

列出hdfs中/user/hadoop目錄下的所有檔案(包括子目錄下的檔案)。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -lsr /user/hadoop

建立檔案目錄
檢視hdfs中/user/hadoop目錄下再新建一個叫做newDir的新目錄。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs -mkdir /user/hadoop/newDir

刪除檔案
刪除hdfs中/user/hadoop目錄下一個名叫needDelete的檔案
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rm /user/hadoop/needDelete

刪除hdfs中/user/hadoop目錄以及該目錄下的所有檔案
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rmr /user/hadoop

上傳檔案
上傳一個本機/home/hadoop/newFile的檔案到hdfs中/user/hadoop目錄下
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop

下載檔案
下載hdfs中/user/hadoop目錄下的newFile檔案到本機/home/hadoop/newFile中
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile

檢視檔案內容
檢視hdfs中/user/hadoop目錄下的newFile檔案
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –cat /home/admin/newFile

MapReduce Job操作
提交MapReduce Job
原則上說,Hadoop所有的MapReduce Job都是一個jar包。

執行一個/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop jar job.jar [jobMainClass] [jobArgs]

殺死某個正在執行的JOB 假設Job_Id為: job_201112161201_0069
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop job -kill job_201112161201_0069

更多Hadoop的命令
上面介紹的這些Hadoop的操作命令是我們最常用的。如果你希望瞭解更多,可以按照如下的方式獲取命令的說明資訊。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop
可以看到更多命令的說明資訊