1. 程式人生 > >Hadoop dfs 常用命令列

Hadoop dfs 常用命令列

* 檔案操作  

* 檢視目錄檔案  * $ hadoop dfs -ls /user/cl  *  

* 建立檔案目錄  * $ hadoop dfs -mkdir /user/cl/temp  *  

* 刪除檔案  * $ hadoop dfs -rm /user/cl/temp/a.txt  *  

* 刪除目錄與目錄下所有檔案  * $ hadoop dfs -rmr /user/cl/temp  *  

* 上傳檔案  

* 上傳一個本機/home/cl/local.txt到hdfs中/user/cl/temp目錄下  

* $ hadoop dfs -put /home/cl/local.txt /user/cl/temp  *  

* 下載檔案  

* 下載hdfs中/user/cl/temp目錄下的hdfs.txt檔案到本機/home/cl/中  

* $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl  *  

* 檢視檔案  * $ hadoop dfs –cat /home/cl/hdfs.txt  *  

* Job操作

 * 提交MapReduce Job, Hadoop所有的MapReduce Job都是一個jar包

 * $ hadoop jar <local-jar-file> <java-class> <hdfs-input-file> <hdfs-output-dir>

 * $ hadoop jar sandbox-mapred-0.0.20.jar sandbox.mapred.WordCountJob /user/cl/input.dat /user/cl/outputdir  *  * 殺死某個正在執行的Job  * 假設Job_Id為:job_201207121738_0001  * $ hadoop job -kill job_201207121738_0001