Hadoop命令
啟動hadoop
start-all.sh
關閉HADOOP
stop-all.sh
查看文件列表
查看hdfs中/user/admin/aaron目錄下的文件。
hadoop fs -ls /user/admin/aaron
列出hdfs中/user/admin/aaron目錄下的所有文件（包括子目錄下的文件）。
hadoop fs -lsr /user/admin/aaron
創建文件目錄
hadoop fs -mkdir /user/admin/aaron/newDir
刪除文件
刪除hdfs中/user/admin/aaron目錄下一個名叫needDelete的文件
hadoop fs -rm /user/admin/aaron/needDelete
刪除hdfs中/user/admin/aaron目錄以及該目錄下的所有文件
hadoop fs -rmr /user/admin/aaron
上傳文件
hadoop fs –put /home/admin/newFile /user/admin/aaron/
下載文件
hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile
查看文件
hadoop fs –cat /home/admin/newFile
新建一個空文件
hadoop fs -touchz /user/new.txt
將hadoop上某個文件重命名
hadoop fs –mv /user/test.txt /user/ok.txt
將hadoop指定目錄下所有內容保存為一個文件，同時down至本地
hadoop dfs –getmerge /user /home/t
提交MAPREDUCE JOB
h bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
殺死某個正在運行的JOB
hadoop job -kill job_201005310937_0053
更多HADOOP的命令
hadoop
可以看到更多命令的說明信息：
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the MapReduce job Tracker node
pipes run a Pipes job
tasktracker run a MapReduce task Tracker node
job manipulate MapReduce jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME <src>* <dest> create a hadoop archive
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
說明：
1、列出所有Hadoop Shell支持的命令
$bin/hadoop fs -help
2、顯示關於某個命令的詳細信息
$bin/hadoop fs -help command-name
3、用戶可使用以下命令在指定路徑下查看歷史日誌匯總，顯示作業的細節信息，失敗和終止的任務細節
$bin/hadoop job -history output-dir
4、關於作業的更多細節，比如成功的任務，以及對每個任務的所做的嘗試次數等可以用下面的命令查看
$bin/hadoop job -history all output-dir
5、格式化一個新的分布式文件系統
$bin/hadoop namenode -format
6、在分配的NameNode上，運行下面的命令啟動HDFS，所有列出的slave上啟動DataNode守護進程
$bin/start-dfs.sh
7、在分配的JobTracker上，運行下面的命令啟動Map/Reduce
$bin/start-mapred.sh
8、在分配的NameNode上，執行下面的命令停止HDFS：
$bin/stop-dfs.sh
9、在分配的JobTracker上，運行下面的命令停止Map/Reduce：
$bin/stop-mapred.sh
DFSShell
10、創建一個名為 /foodir 的目錄
$bin/hadoop dfs -mkdir /foodir
11、創建一個名為 /foodir 的目錄
$bin/hadoop dfs -mkdir /foodir
12、查看名為/foodir/myfile.txt 的文件內容
$bin/hadoop dfs -cat /foodir/myfile.txt
DFSAdmin
13、將集群置於安全模式
$bin/hadoop dfsadmin -safemode enter
14、顯示Datanode列表
$bin/hadoop dfsadmin -report
15、使Datanode節點datanodename退役
$bin/hadoop dfsadmin -decommission datanodename
16、bin/hadoop dfsadmin-help 命令能列出所有當前支持的命令。比如：
*-report：報告HDFS的基本統計信息。有些信息可以在NameNode Web服務首頁看到。
*-safemode：通常並不需要，管理員的確可以手動讓NameNode進入或離開安全模式。
*-finalizeUpgrade：刪除上一次升級時制作的集群備份。
17、顯式地將HDFS置於安全模式
$bin/hadoop dfsadmin -safemode
18、在升級之前，管理員需要用（升級終結操作）命令刪除存在的備份文件
$bin/hadoop dfsadmin -finalizeUpgrade
19、能夠知道是否需要對一個集群執行升級終結操作。
$dfsadmin -upgradeProgress status
20、使用-upgrade選項運行新的版本
$bin/start-dfs.sh -upgrade
21、需要退回到老版本,就必須停止集群並且部署老版本的Hadoop，用回滾選項啟動集群
$bin/start-dfs.h -rollback
22、下面的新命令或新選項是用於支持配額的。前兩個是管理員命令。
*dfsadmin -setquota <N> <directory>...<directory>
把每個目錄配額設為N。這個命令會在每個目錄上嘗試，如果N不是一個正的長整型數，目錄不存在或是文件名，或者目錄超過配額，則會產生錯誤報告。
*dfsadmin -clrquota <directory>...<director>
為每個目錄刪除配額。這個命令會在每個目錄上嘗試，如果目錄不存在或者是文件，則會產生錯誤報告。如果目錄原來沒有設置配額不會報錯。
*fs -count -q <directory>...<directory>
使用-q選項，會報告每個目錄設置的配額，以及剩余配額。如果目錄沒有設置配額，會報告none和inf。
23、創建一個hadoop檔案文件
$hadoop archive -archiveName NAME <src>* <dest>
-archiveName NAME 要創建的檔案的名字。
src文件系統的路徑名，和通常含正則表達的一樣。
dest保存檔案文件的目標目錄。
24、遞歸拷貝文件或目錄
$hadoop distcp <srcurl> <desturl>
srcurl 源Url
desturl 目標Url
25、運行HDFS文件系統檢查工具(fsck tools)
用法：hadoopfsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files[-blocks [-locations | -racks]]]
命令選項描述
<path> 檢查的起始目錄。
-move 移動受損文件到/lost+found
-delete 刪除受損文件。
-openforwrite 打印出寫打開的文件。
-files 打印出正被檢查的文件。
-blocks 打印出塊信息報告。
-locations 打印出每個塊的位置信息。
-racks 打印出data-node的網絡拓撲結構。
26、用於和Map Reduce作業交互和命令(jar)
用法：Hadoopjob
[GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>]
|[-counter <job-id> <group-name> <counter-name>] |
[-kill<job-id>] | [-events <job-id>
<from-event-#><#-of-events>] | [-history [all]
<jobOutputDir>] | [-list [all]] |[-kill-task <task-id>] |
[-fail-task <task-id>]
命令選項描述
-submit<job-file> 提交作業
-status<job-id> 打印map和reduce完成百分比和所有計數器。
-counter<job-id> <group-name> <counter-name> 打印計數器的值。
-kill<job-id> 殺死指定作業。
-events<job-id> <from-event-#> <#-of-events> 打印給定範圍內jobtracker接收到的事件細節。
-history [all]<jobOutputDir> -history<jobOutputDir> 打印作業的細節、失敗及被殺死原因的細節。更多的關於一個作業的細節比如
成功的任務，做過的任務嘗試等信息可以通過指定[all]選項查看。
-list [all] -listall 顯示所有作業。-list只顯示將要完成的作業。
-kill-task<task-id> 殺死任務。被殺死的任務不會不利於失敗嘗試。
-fail-task<task-id> 使任務失敗。被失敗的任務會對失敗嘗試不利。
27、運行pipes作業
用法：hadooppipes
[-conf <path>] [-jobconf <key=value>, <key=value>,
...][-input <path>] [-output <path>] [-jar <jar
file>][-inputformat <class>] [-map <class>] [-partitioner
<class>][-reduce <class>] [-writer <class>] [-program
<executable>][-reduces <num>]
命令選項描述
-conf <path> 作業的配置
-jobconf<key=value>, <key=value>, ... 增加/覆蓋作業的配置項
-input <path> 輸入目錄
-output<path> 輸出目錄
-jar <jarfile> Jar文件名
-inputformat<class> InputFormat類
-map <class> JavaMap類
-partitioner<class> JavaPartitioner
-reduce<class> JavaReduce類
-writer<class> JavaRecordWriter
-program <executable> 可執行程序的URI
-reduces<num> reduce個數
28、打印版本信息。
用法：hadoop version
29、hadoop腳本可用於調調用任何類。
用法：hadoop CLASSNAME
運行名字為CLASSNAME的類。
30、運行集群平衡工具。管理員可以簡單的按Ctrl-C來停止平衡過程(balancer)
用法：hadoop balancer [-threshold <threshold>]
命令選項描述
-threshold<threshold> 磁盤容量的百分比。這會覆蓋缺省的閥值。
31、獲取或設置每個守護進程的日誌級別(daemonlog)。
用法：hadoopdaemonlog -getlevel <host:port> <name>
用法：hadoopdaemonlog -setlevel <host:port> <name> <level>
命令選項描述
-getlevel<host:port> <name> 打印運行在<host:port>的守護進程的日誌級別。這個命令內部會連接http://<host:port>/logLevel?log=<name>
-setlevel<host:port> <name> <level> 設置運行在<host:port>的守護進程的日誌級別。這個命令內部會連接http://<host:port>/logLevel?log=<name>
32、運行一個HDFS的datanode。
用法：hadoopdatanode [-rollback]
命令選項描述
-rollback 將datanode回滾到前一個版本。這需要在停止datanode，分發老的hadoop版本之後使用。
33、運行一個HDFS的dfsadmin客戶端。
用法：hadoopdfsadmin
[GENERIC_OPTIONS] [-report] [-safemode enter | leave | get |
wait][-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status |
details | force][-metasave filename] [-setQuota
<quota><dirname>...<dirname>]
[-clrQuota<dirname>...<dirname>] [-help [cmd]]
命令選項描述
-report 報告文件系統的基本信息和統計信息。
-safemode enter |leave | get | wait 安全模式維護命令。安全模式是Namenode的一個狀態，這種狀態下，Namenode
1. 不接受對名字空間的更改(只讀)
2. 不復制或刪除塊
Namenode會在啟動時自動進入安全模式，當配置的塊最小百分比數滿足最小的副本數條件時，會自動離開安全模式。安全模式可以手動進入，但是這樣的話也必須手動關閉安全模式。
-refreshNodes 重新讀取hosts和exclude文件，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。
-finalizeUpgrade 終結HDFS的升級操作。Datanode刪除前一個版本的工作目錄，之後Namenode也這樣做。這個操作完結整個升級過程。
-upgradeProgressstatus | details | force 請求當前系統的升級狀態，狀態的細節，或者強制升級操作進行。
-metasave filename 保存Namenode的主要數據結構到hadoop.log.dir屬性指定的目錄下的<filename>文件。對於下面的每一項，
<filename>中都會一行內容與之對應
1. Namenode收到的Datanode的心跳信號
2. 等待被復制的塊
3. 正在被復制的塊
4. 等待被刪除的塊
-setQuota <quota><dirname>...<dirname> 為每個目錄 <dirname>設定配額<quota>。目錄配額是一個長整型整數，強制限定了目錄樹下的名字個數。
命令會在這個目錄上工作良好，以下情況會報錯：
1. N不是一個正整數，或者
2. 用戶不是管理員，或者
3. 這個目錄不存在或是文件，或者
4. 目錄會馬上超出新設定的配額。
-clrQuota<dirname>...<dirname> 為每一個目錄<dirname>清除配額設定。
命令會在這個目錄上工作良好，以下情況會報錯：
1. 這個目錄不存在或是文件，或者
2. 用戶不是管理員。
如果目錄原來沒有配額不會報錯。
-help [cmd] 顯示給定命令的幫助信息，如果沒有給定命令，則顯示所有命令的幫助信息。
34、運行MapReduce job Tracker節點(jobtracker)。
用法：hadoopjobtracker
35、運行namenode。有關升級，回滾，升級終結的更多信息請參考升級和回滾。
用法：hadoopnamenode [-format] | [-upgrade] | [-rollback] | [-finalize] |[-importCheckpoint]
命令選項描述
-format 格式化namenode。它啟動namenode，格式化namenode，之後關閉namenode。
-upgrade 分發新版本的hadoop後，namenode應以upgrade選項啟動。
-rollback 將namenode回滾到前一版本。這個選項要在停止集群，分發老的hadoop版本後使用。
-finalize finalize會刪除文件系統的前一狀態。最近的升級會被持久化，rollback選項將再
不可用，升級終結操作之後，它會停掉namenode。
-importCheckpoint 從檢查點目錄裝載鏡像並保存到當前檢查點目錄，檢查點目錄由fs.checkpoint.dir指定。
36、運行HDFS的secondary namenode。
用法：hadoopsecondarynamenode [-checkpoint [force]] | [-geteditsize]
命令選項描述
-checkpoint [force] 如果EditLog的大小 >= fs.checkpoint.size，啟動Secondary namenode的檢查點
過程。如果使用了-force，將不考慮EditLog的大小。
-geteditsize 打印EditLog大小。
Hadoop命令