hadoop基本操作命令小結
已經搞定,接下來就是開發hadoop程式了。但在這之前熟悉下hadoop的基本操作命令非常有必要,以下就先簡單的小結下:
啟動和關閉Hadoop
啟動Hadoop
1.進入HADOOP_HOME目錄。
2.執行bin/start-all.sh
關閉Hadoop
1.進入HADOOP_HOME目錄。
2.執行bin/stop-all.sh
HDFS檔案檔案系統操作 Hadoop使用的是HDFS,能夠實現的功能和我們使用的磁碟系統
類似。並且支援萬用字元,如*。
檢視檔案列表
檢視hdfs中/user/hadoop目錄下的檔案和目錄。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs -ls /user/hadoop
列出hdfs中/user/hadoop目錄下的所有檔案(包括子目錄下的檔案)。
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -lsr /user/hadoop
建立檔案目錄
檢視hdfs中/user/hadoop目錄下再新建一個叫做newDir的新目錄。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs -mkdir /user/hadoop/newDir
刪除檔案
刪除hdfs中/user/hadoop目錄下一個名叫needDelete的檔案
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rm /user/hadoop/needDelete
刪除hdfs中/user/hadoop目錄以及該目錄下的所有檔案
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop fs -rmr /user/hadoop
上傳檔案
上傳一個本機/home/hadoop/newFile的檔案到hdfs中/user/hadoop目錄下
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop
下載檔案
下載hdfs中/user/hadoop目錄下的newFile檔案到本機/home/hadoop/newFile中
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile
檢視檔案內容
檢視hdfs中/user/hadoop目錄下的newFile檔案
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop fs –cat /home/admin/newFile
MapReduce Job操作
提交MapReduce Job
原則上說,Hadoop所有的MapReduce Job都是一個jar包。
執行一個/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop jar job.jar [jobMainClass] [jobArgs]
殺死某個正在執行的JOB 假設Job_Id為: job_201112161201_0069
1.進入HADOOP_HOME目錄。
2.執行sh bin/hadoop job -kill job_201112161201_0069
更多Hadoop的命令
上面介紹的這些Hadoop的操作命令是我們最常用的。如果你希望瞭解更多,可以按照如下的方式獲取命令的說明資訊。
1.進入HADOOP_HOME目錄。
2.執行bin/hadoop
可以看到更多命令的說明資訊