2. 程式人生 > >Hadoop命令手冊

Hadoop命令手冊

阿新 • • 發佈：2018-04-17
classname 分隔 ktr section 任務 hdf 不可 1.0 給定

原文地址：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html

  • 概述
    • 常規選項
  • 用戶命令
    • archive
    • distcp
    • fs
    • fsck
    • jar
    • job
    • pipes
    • version
    • CLASSNAME
  • 管理命令
    • balancer
    • daemonlog
    • datanode
    • dfsadmin
    • jobtracker
    • namenode
    • secondarynamenode
    • tasktracker

概述

所有的hadoop命令均由bin/hadoop腳本引發。不指定參數運行hadoop腳本會打印所有命令的描述。

用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop有一個選項解析框架用於解析一般的選項和運行類。

命令選項描述
--config confdir 覆蓋缺省配置目錄。缺省是${HADOOP_HOME}/conf。
GENERIC_OPTIONS 多個命令都支持的通用選項。
COMMAND
命令選項S		 各種各樣的命令和它們的選項會在下面提到。這些命令被分為 用戶命令 管理命令兩組。

常規選項

下面的選項被 dfsadmin, fs, fsck和 job支持。 應用程序要實現 Tool來支持 常規選項。

GENERIC_OPTION 描述
-conf <configuration file> 指定應用程序的配置文件。
-D <property=value>
 為指定property指定值value。
-fs <local|namenode:port> 指定namenode。
-jt <local|jobtracker:port> 指定job tracker。只適用於job。
-files <逗號分隔的文件列表> 指定要拷貝到map reduce集群的文件的逗號分隔的列表。 只適用於job。
-libjars <逗號分隔的jar列表> 指定要包含到classpath中的jar文件的逗號分隔的列表。 只適用於job。
-archives <逗號分隔的archive列表> 指定要被解壓到計算節點上的檔案文件的逗號分割的列表。 只適用於job。

用戶命令

hadoop集群用戶的常用命令。

archive

創建一個hadoop檔案文件。參考 Hadoop Archives.

用法：hadoop archive -archiveName NAME <src>* <dest>

命令選項 描述
-archiveName NAME 要創建的檔案的名字。
src 文件系統的路徑名，和通常含正則表達的一樣。
dest 保存檔案文件的目標目錄。

distcp

遞歸地拷貝文件或目錄。參考DistCp指南以獲取等多信息。

用法：hadoop distcp <srcurl> <desturl>

命令選項 描述
srcurl 源Url
desturl 目標Url

fs

用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

運行一個常規的文件系統客戶端。

各種命令選項可以參考HDFS Shell指南。

fsck

運行HDFS文件系統檢查工具。參考Fsck了解更多。

用法：hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

命令選項 描述
<path> 檢查的起始目錄。
-move 移動受損文件到/lost+found
-delete 刪除受損文件。
-openforwrite 打印出寫打開的文件。
-files 打印出正被檢查的文件。
-blocks 打印出塊信息報告。
-locations 打印出每個塊的位置信息。
-racks 打印出data-node的網絡拓撲結構。

jar

運行jar文件。用戶可以把他們的Map Reduce代碼捆綁到jar文件中，使用這個命令執行。

用法：hadoop jar <jar> [mainClass] args...

streaming作業是通過這個命令執行的。參考Streaming examples中的例子。

Word count例子也是通過jar命令運行的。參考Wordcount example。

job

用於和Map Reduce作業交互和命令。

用法：hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]

命令選項 描述
-submit <job-file> 提交作業
-status <job-id> 打印map和reduce完成百分比和所有計數器。
-counter <job-id> <group-name> <counter-name> 打印計數器的值。
-kill <job-id> 殺死指定作業。
-events <job-id> <from-event-#> <#-of-events> 打印給定範圍內jobtracker接收到的事件細節。
-history [all] <jobOutputDir> -history <jobOutputDir> 打印作業的細節、失敗及被殺死原因的細節。更多的關於一個作業的細節比如成功的任務，做過的任務嘗試等信息可以通過指定[all]選項查看。
-list [all] -list all顯示所有作業。-list只顯示將要完成的作業。
-kill-task <task-id> 殺死任務。被殺死的任務不會不利於失敗嘗試。
-fail-task <task-id> 使任務失敗。被失敗的任務會對失敗嘗試不利。

pipes

運行pipes作業。

用法：hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]

命令選項 描述
-conf <path> 作業的配置
-jobconf <key=value>, <key=value>, ... 增加/覆蓋作業的配置項
-input <path> 輸入目錄
-output <path> 輸出目錄
-jar <jar file> Jar文件名
-inputformat <class> InputFormat類
-map <class> Java Map類
-partitioner <class> Java Partitioner
-reduce <class> Java Reduce類
-writer <class> Java RecordWriter
-program <executable> 可執行程序的URI
-reduces <num> reduce個數

version

打印版本信息。

用法：hadoop version

CLASSNAME

hadoop腳本可用於調調用任何類。

用法：hadoop CLASSNAME

運行名字為CLASSNAME的類。

管理命令

hadoop集群管理員常用的命令。

balancer

運行集群平衡工具。管理員可以簡單的按Ctrl-C來停止平衡過程。參考Rebalancer了解更多。

用法：hadoop balancer [-threshold <threshold>]

命令選項 描述
-threshold <threshold> 磁盤容量的百分比。這會覆蓋缺省的閥值。

daemonlog

獲取或設置每個守護進程的日誌級別。

用法：hadoop daemonlog -getlevel <host:port> <name>
用法：hadoop daemonlog -setlevel <host:port> <name> <level>

命令選項 描述
-getlevel <host:port> <name> 打印運行在<host:port>的守護進程的日誌級別。這個命令內部會連接http://<host:port>/logLevel?log=<name>
-setlevel <host:port> <name> <level> 設置運行在<host:port>的守護進程的日誌級別。這個命令內部會連接http://<host:port>/logLevel?log=<name>

datanode

運行一個HDFS的datanode。

用法：hadoop datanode [-rollback]

命令選項 描述
-rollback 將datanode回滾到前一個版本。這需要在停止datanode，分發老的hadoop版本之後使用。

dfsadmin

運行一個HDFS的dfsadmin客戶端。

用法：hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]

命令選項 描述
-report 報告文件系統的基本信息和統計信息。
-safemode enter | leave | get | wait 安全模式維護命令。安全模式是Namenode的一個狀態，這種狀態下，Namenode
1. 不接受對名字空間的更改(只讀)
2. 不復制或刪除塊
Namenode會在啟動時自動進入安全模式，當配置的塊最小百分比數滿足最小的副本數條件時，會自動離開安全模式。安全模式可以手動進入，但是這樣的話也必須手動關閉安全模式。
-refreshNodes 重新讀取hosts和exclude文件，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。
-finalizeUpgrade 終結HDFS的升級操作。Datanode刪除前一個版本的工作目錄，之後Namenode也這樣做。這個操作完結整個升級過程。
-upgradeProgress status | details | force 請求當前系統的升級狀態，狀態的細節，或者強制升級操作進行。
-metasave filename 保存Namenode的主要數據結構到hadoop.log.dir屬性指定的目錄下的<filename>文件。對於下面的每一項，<filename>中都會一行內容與之對應
1. Namenode收到的Datanode的心跳信號
2. 等待被復制的塊
3. 正在被復制的塊
4. 等待被刪除的塊
-setQuota <quota> <dirname>...<dirname> 為每個目錄 <dirname>設定配額<quota>。目錄配額是一個長整型整數，強制限定了目錄樹下的名字個數。
命令會在這個目錄上工作良好，以下情況會報錯：
1. N不是一個正整數，或者
2. 用戶不是管理員，或者
3. 這個目錄不存在或是文件，或者
4. 目錄會馬上超出新設定的配額。
-clrQuota <dirname>...<dirname> 為每一個目錄<dirname>清除配額設定。
命令會在這個目錄上工作良好，以下情況會報錯：
1. 這個目錄不存在或是文件，或者
2. 用戶不是管理員。
如果目錄原來沒有配額不會報錯。
-help [cmd] 顯示給定命令的幫助信息，如果沒有給定命令，則顯示所有命令的幫助信息。

jobtracker

運行MapReduce job Tracker節點。

用法：hadoop jobtracker

namenode

運行namenode。有關升級，回滾，升級終結的更多信息請參考升級和回滾。

用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

命令選項 描述
-format 格式化namenode。它啟動namenode，格式化namenode，之後關閉namenode。
-upgrade 分發新版本的hadoop後，namenode應以upgrade選項啟動。
-rollback 將namenode回滾到前一版本。這個選項要在停止集群，分發老的hadoop版本後使用。
-finalize finalize會刪除文件系統的前一狀態。最近的升級會被持久化，rollback選項將再不可用，升級終結操作之後，它會停掉namenode。
-importCheckpoint 從檢查點目錄裝載鏡像並保存到當前檢查點目錄，檢查點目錄由fs.checkpoint.dir指定。

secondarynamenode

運行HDFS的secondary namenode。參考Secondary Namenode了解更多。

用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

命令選項 描述
-checkpoint [force] 如果EditLog的大小 >= fs.checkpoint.size，啟動Secondary namenode的檢查點過程。 如果使用了-force，將不考慮EditLog的大小。
-geteditsize 打印EditLog大小。

tasktracker

運行MapReduce的task Tracker節點。

用法：hadoop tasktracker

Hadoop命令手冊

相關推薦

Hadoop命令手冊

classname 分隔 ktr section 任務 hdf 不可 1.0 給定 原文地址：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 概述 常規選項 用戶命令

Hadoop命令

cto 清除 運行 put cond 可執行 inpu 百分比 增加 啟動hadoop start-all.sh 關閉HADOOP stop-all.sh 查看文件列表 查看hdfs中/user/admin/aaron目錄下的文件。 hadoop fs -ls /user/

Redis 學習之路 (010) - redis命令手冊

哈希 sts 集中 cluster htm second 不同 index scribe Redis 鍵(key) 命令 命令描述 Redis DEL 命令 該命令用於在 key 存在是刪除 key。 Redis Dump 命令 序列化給定 key ，並返回被

linux操作hadoop命令

文件權限 命令 oop heat color logs style spa chown 1、修改文件屬主/組 # 修改文件屬主 為 service hadoop fs -chown service /wy/heat/result/_SUCCESS 2、修改文件權限

Windows環境下執行hadoop命令出現Error: JAVA_HOME is incorrectly set Please update D:SoftWarehadoop-2.6.0confhadoop-env.cmd錯誤的解決辦法（圖文詳解）

scala software ksum cal .com from 問題 jdk sun 　　　　不多說，直接上幹貨！ 導讀 　　win下安裝hadoop　　大家，別小看win下的安裝大數據組件和使用 　　 玩過dubbo和disc

vim使用命令手冊

曾經使用了兩年多的Vim，手冊也翻過一遍。雖然現在不怎麼用vim了，曾經的筆記還是貼出來，與喜歡vim的朋友分享。 1. 關於Vim vim是我最喜歡的編輯器，也是Linux下第二強大的編輯器。 雖然emacs是公認的世界第一，我認為使用emacs並沒有使用vi進行編輯來得高效。 如果

Git 命令手冊

版本控制流程圖 工作區（Working Directory） 版本庫（Repository）：隱藏目錄 /.git 版本庫中包含index（stage）的暫存區和自動建立的第一個分支 master，以及指向master的指標head 當前使用者配置 # 配置 $ git c

hadoop命令大全

轉自：https://blog.csdn.net/m0_38003171/article/details/79086780 hadoop命令大全 hdfs常用命令： 第一部分：hdfs檔案系統命令 第一類：檔案路徑增刪改查系列： hdfs dfs -mkdir dir  

hadoop命令蒐集

隨機返回指定行數的樣本資料 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5 返回前幾行的樣本資料 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* |

Git 常用命令手冊

Git的四個組成部分 初始化倉庫 git init 將檔案新增到倉庫 # 將工作區的某個檔案新增到暫存區 git add 檔名 # 新增所有被tracked檔案中被修改或刪除的檔案資訊到暫存區，不處理untracked的檔案 git add -u

linux 常用命令手冊

1.startx                    從文字介面進入圖形介面 2.ls  -lhar                  顯示目錄與檔案  ls  -lrt                    按時間進行排序 3.whoami             

hadoop 命令檢視檔案前幾行

wechat:812716131 ------------------------------------------------------ 技術交流群請聯絡上面wechat ----------------------------------------------

Linux Crontab執行hadoop命令指令碼失敗

   最近在寫一個Hadoop系列操作的排程指令碼，由crontab排程執行。指令碼單獨執行沒有任何問題，但是一旦執行hadoop相關操作，如hive、Hadoop相關命令，就莫名其妙的失敗。查了很多資料，後來才發現是環境變數的問題，需要在指令碼中新增“source /et

DMIDECODE 命令手冊

名稱 dmidecode - DMI表解碼器 摘要 dmidecode [options] 描述 dmidecode 是一個把計算機的DMI(或者叫SMBOIS)表內容轉換成人類易讀格式的工具。 這個表包含了系統硬體元件的描述和其他的有用的資訊片段，比如序列

在shell指令碼中如何呼叫hadoop 命令

我們在shell指令碼中可能會用到hadoop或者其他命令，而這些命令可能是一個整體，如果我們只是簡單的寫入到shell指令碼中，可能會被分解成其他的各個子欄位，即有可能會分成兩部分去執行，這樣就會導致命令執行失敗。 hadoop fs -get /XX

docker 最新Dockerfile命令手冊

Dockerfile Reference Docker can build images automatically by reading the instructions from a Dockerfile. A Dockerfile is a text

rpm命令手冊和檢視rpm安裝包的安裝路徑的方法

rpm -qpl xxxxxx.rpm1.如何安裝rpm軟體包 rmp軟體包的安裝可以使用程式rpm來完成。執行下面的命令 rpm -i your-package.rpm 其中your-package.rpm是你要安裝的rpm包的檔名，一般置於當前目錄下。

最新docker命令手冊

Command Line Note: if you are using a remote Docker daemon, such as Boot2Docker, then do not type the sudobefore the docker comma

hadoop命令無法識別

在執行一段時間後，突然報出hadoop不識別指令的錯誤。因為曾正確使用過，觀察所在目錄已變化，考慮是環境變數JAVA_HOME的問題。 /etc/profile中JAVA_HOME變數已修改。 考慮到hadoop2.2.0官方文件提及其他變數，如下補充。 vim /e

hadoop命令 -- job相關

hadoop命令列 與job相關的： 命令列工具 • 1.檢視 Job 資訊： hadoop job -list 2.殺掉 Job： hadoop  job –kill  job_id 3.指定路徑下檢視歷史日誌彙總： hadoop job -history outpu