2. 程式人生 > >Hadoop之YARN命令

Hadoop之YARN命令

阿新 • • 發佈：2019-01-25

概述

YARN命令是呼叫bin/yarn指令碼檔案，如果執行yarn指令碼沒有帶任何引數，則會列印yarn所有命令的描述。

使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

YARN有一個引數解析框架，採用解析泛型引數以及執行類。

命令引數 描述
--config confdir 指定一個預設的配置檔案目錄，預設值是：${HADOOP_PREFIX}/conf.
--loglevel loglevel 過載Log級別。有效的日誌級別包含：FATAL, ERROR, WARN, INFO, DEBUG, and TRACE。預設是INFO。
GENERIC_OPTIONS YARN支援表A的通用命令項。
COMMAND COMMAND_OPTIONS YARN分為使用者命令和管理員命令。

表A：

通用項 Description
-archives <comma separated list of archives> 用逗號分隔計算中未歸檔的檔案。 僅僅針對JOB。
-conf <configuration file> 制定應用程式的配置檔案。
-D <property>=<value> 使用給定的屬性值。
-files <comma separated list of files>
 用逗號分隔的檔案,拷貝到Map reduce機器，僅僅針對JOB
-jt <local> or <resourcemanager:port> 指定一個ResourceManager. 僅僅針對JOB。
-libjars <comma seperated list of jars> 將用逗號分隔的jar路徑包含到classpath中去，僅僅針對JOB。

使用者命令：

對於Hadoop叢集使用者很有用的命令：

application

使用:yarn application [options]

命令選項 描述
-appStates <States> 使用-list命令，基於應用程式的狀態來過濾應用程式。如果應用程式的狀態有多個，用逗號分隔。 有效的應用程式狀態包含
如下： ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED
-appTypes <Types> 使用-list命令，基於應用程式型別來過濾應用程式。如果應用程式的型別有多個，用逗號分隔。
-list 從RM返回的應用程式列表，使用-appTypes引數，支援基於應用程式型別的過濾，使用-appStates引數，支援對應用程式狀態的過濾。
-kill <ApplicationId> kill掉指定的應用程式。
-status <ApplicationId> 列印應用程式的狀態。

示例1：

[[email protected] bin]$ ./yarn application -list -appStates ACCEPTED
15/08/10 11:48:43 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032
Total number of applications (application-types: [] and states: [ACCEPTED]):1
Application-Id	                Application-Name Application-Type User	 Queue	 State	  Final-State Progress Tracking-URL
application_1438998625140_1703	MAC_STATUS	 MAPREDUCE	  hduser default ACCEPTED UNDEFINED   0%       N/A
示例2：
[[email protected] bin]$ ./yarn application -list
15/08/10 11:43:01 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032
Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1
Application-Id	               Application-Name	Application-Type  User   Queue   State    Final-State   Progress Tracking-URL
application_1438998625140_1701 MAC_STATUS	MAPREDUCE	  hduser default ACCEPTED UNDEFINED	0%	 N/A

示例3：

[[email protected] bin]$ ./yarn application -kill application_1438998625140_1705
15/08/10 11:57:41 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032
Killing application application_1438998625140_1705
15/08/10 11:57:42 INFO impl.YarnClientImpl: Killed application application_1438998625140_1705

applicationattempt

使用:yarn applicationattempt [options]

命令選項 描述
-help 幫助
-list <ApplicationId> 獲取到應用程式嘗試的列表，其返回值ApplicationAttempt-Id 等於 <Application Attempt Id>
-status <Application Attempt Id> 列印應用程式嘗試的狀態。

列印應用程式嘗試的報告。

示例1：

[[email protected] bin]$ yarn applicationattempt -list application_1437364567082_0106
15/08/10 20:58:28 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total number of application attempts :1
ApplicationAttempt-Id	               State	AM-Container-Id	                       Tracking-URL
appattempt_1437364567082_0106_000001   RUNNING	container_1437364567082_0106_01_000001 http://hadoopcluster79:8088/proxy/application_1437364567082_0106/
示例2： 
[[email protected] bin]$ yarn applicationattempt -status appattempt_1437364567082_0106_000001
15/08/10 21:01:41 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Application Attempt Report : 
	ApplicationAttempt-Id : appattempt_1437364567082_0106_000001
	State : FINISHED
	AMContainer : container_1437364567082_0106_01_000001
	Tracking-URL : http://hadoopcluster79:8088/proxy/application_1437364567082_0106/jobhistory/job/job_1437364567082_0106
	RPC Port : 51911
	AM Host : hadoopcluster80
	Diagnostics :

classpath

使用: yarn classpath

列印需要得到Hadoop的jar和所需要的lib包路徑

[[email protected] bin]$ yarn classpath
/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/common/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/common/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/mapreduce/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/mapreduce/*:/home/hadoop/apache/hadoop-2.4.1/contrib/capacity-scheduler/*.jar:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/lib/*

container

使用: yarn container [options]

命令選項 描述
-help 幫助
-list <Application Attempt Id> 應用程式嘗試的Containers列表
-status <ContainerId> 列印Container的狀態

列印container(s)的報告

示例1：

[[email protected] bin]$ yarn container -list appattempt_1437364567082_0106_01 
15/08/10 20:45:45 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total number of containers :25
                  Container-Id	          Start Time	         Finish Time	               State	                Host	                            LOG-URL
container_1437364567082_0106_01_000028	       1439210458659	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000028/hadoop
container_1437364567082_0106_01_000016	       1439210314436	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000016/hadoop
container_1437364567082_0106_01_000019	       1439210338598	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000019/hadoop
container_1437364567082_0106_01_000004	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000004/hadoop
container_1437364567082_0106_01_000008	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000008/hadoop
container_1437364567082_0106_01_000031	       1439210718604	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000031/hadoop
container_1437364567082_0106_01_000020	       1439210339601	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000020/hadoop
container_1437364567082_0106_01_000005	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000005/hadoop
container_1437364567082_0106_01_000013	       1439210314435	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000013/hadoop
container_1437364567082_0106_01_000022	       1439210368679	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000022/hadoop
container_1437364567082_0106_01_000021	       1439210353626	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000021/hadoop
container_1437364567082_0106_01_000014	       1439210314435	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000014/hadoop
container_1437364567082_0106_01_000029	       1439210473726	                   0	             RUNNING	hadoopcluster80:42366	//hadoopcluster80:8042/node/containerlogs/container_1437364567082_0106_01_000029/hadoop
container_1437364567082_0106_01_000006	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000006/hadoop
container_1437364567082_0106_01_000003	       1439210314129	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000003/hadoop
container_1437364567082_0106_01_000015	       1439210314436	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000015/hadoop
container_1437364567082_0106_01_000009	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000009/hadoop
container_1437364567082_0106_01_000030	       1439210708467	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000030/hadoop
container_1437364567082_0106_01_000012	       1439210314435	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000012/hadoop
container_1437364567082_0106_01_000027	       1439210444354	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000027/hadoop
container_1437364567082_0106_01_000026	       1439210428514	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000026/hadoop
container_1437364567082_0106_01_000017	       1439210314436	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000017/hadoop
container_1437364567082_0106_01_000001	       1439210306902	                   0	             RUNNING	hadoopcluster80:42366	//hadoopcluster80:8042/node/containerlogs/container_1437364567082_0106_01_000001/hadoop
container_1437364567082_0106_01_000002	       1439210314129	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000002/hadoop
container_1437364567082_0106_01_000025	       1439210414171	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000025/hadoop

示例2：

[[email protected] bin]$ yarn container -status container_1437364567082_0105_01_000020 
15/08/10 20:28:00 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Container Report : 
	Container-Id : container_1437364567082_0105_01_000020
	Start-Time : 1439208779842
	Finish-Time : 0
	State : RUNNING
	LOG-URL : //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0105_01_000020/hadoop
	Host : hadoopcluster83:37140
	Diagnostics : null

jar

使用: yarn jar <jar> [mainClass] args...

執行jar檔案，使用者可以將寫好的YARN程式碼打包成jar檔案，用這個命令去執行它。

logs

使用: yarn logs -applicationId <application ID> [options]

注：應用程式沒有完成，該命令是不能列印日誌的。

命令選項 描述
-applicationId <application ID> 指定應用程式ID，應用程式的ID可以在yarn.resourcemanager.webapp.address配置的路徑檢視（即：ID）
-appOwner <AppOwner> 應用的所有者（如果沒有指定就是當前使用者）應用程式的ID可以在yarn.resourcemanager.webapp.address配置的路徑檢視（即：User）
-containerId <ContainerId> Container Id
-help 幫助
-nodeAddress <NodeAddress> 節點地址的格式：nodename:port （埠是配置檔案中:yarn.nodemanager.webapp.address引數指定）

轉存container的日誌。

示例：

[[email protected] bin]$ yarn logs -applicationId application_1437364567082_0104  -appOwner hadoop
15/08/10 17:59:19 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032


Container: container_1437364567082_0104_01_000003 on hadoopcluster82_48622
============================================================================
LogType: stderr
LogLength: 0
Log Contents:

LogType: stdout
LogLength: 0
Log Contents:

LogType: syslog
LogLength: 3673
Log Contents:
2015-08-10 17:24:01,565 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.
2015-08-10 17:24:01,580 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.
。。。。。。此處省略N萬個字元
// 下面的命令，根據APP的所有者檢視LOG日誌，因為application_1437364567082_0104任務我是用hadoop使用者啟動的，所以列印的是如下資訊：
[[email protected] bin]$ yarn logs -applicationId application_1437364567082_0104  -appOwner root
15/08/10 17:59:25 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Logs not available at /tmp/logs/root/logs/application_1437364567082_0104
Log aggregation has not completed or is not enabled.

node

使用: yarn node [options]

命令選項 描述
-all 所有的節點，不管是什麼狀態的。
-list 列出所有RUNNING狀態的節點。支援-states選項過濾指定的狀態，節點的狀態包
含：NEW，RUNNING，UNHEALTHY，DECOMMISSIONED，LOST，REBOOTED。支援--all顯示所有的節點。
-states <States> 和-list配合使用，用逗號分隔節點狀態，只顯示這些狀態的節點資訊。
-status <NodeId> 列印指定節點的狀態。

示例1：

[[email protected] bin]$ ./yarn node -list -all
15/08/10 17:34:17 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total Nodes:4
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
hadoopcluster82:48622	        RUNNING	hadoopcluster82:8042	                           0
hadoopcluster84:43818	        RUNNING	hadoopcluster84:8042	                           0
hadoopcluster83:37140	        RUNNING	hadoopcluster83:8042	                           0
hadoopcluster80:42366	        RUNNING	hadoopcluster80:8042	                           0
示例2： 
[[email protected] bin]$ ./yarn node -list -states RUNNING
15/08/10 17:39:55 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total Nodes:4
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
hadoopcluster82:48622	        RUNNING	hadoopcluster82:8042	                           0
hadoopcluster84:43818	        RUNNING	hadoopcluster84:8042	                           0
hadoopcluster83:37140	        RUNNING	hadoopcluster83:8042	                           0
hadoopcluster80:42366	        RUNNING	hadoopcluster80:8042	                           0
示例3： 
[[email protected] bin]$ ./yarn node -status hadoopcluster82:48622
15/08/10 17:52:52 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Node Report : 
	Node-Id : hadoopcluster82:48622
	Rack : /default-rack
	Node-State : RUNNING
	Node-Http-Address : hadoopcluster82:8042
	Last-Health-Update : 星期一 10/八月/15 05:52:09:601CST
	Health-Report : 
	Containers : 0
	Memory-Used : 0MB
	Memory-Capacity : 10240MB
	CPU-Used : 0 vcores
	CPU-Capacity : 8 vcores
列印節點的報告。

queue

使用: yarn queue [options]

命令選項 描述
-help 幫助
-status <QueueName> 列印佇列的狀態

列印佇列資訊。

version

使用: yarn version

列印hadoop的版本。

管理員命令：

下列這些命令對hadoop叢集的管理員是非常有用的。

daemonlog

使用:

   yarn daemonlog -getlevel <host:httpport> <classname> 
   yarn daemonlog -setlevel <host:httpport> <classname> <level>
引數選項 描述
-getlevel <host:httpport> <classname> 列印執行在<host:port>的守護程序的日誌級別。這個命令內部會連線http://<host:port>/logLevel?log=<name>
-setlevel <host:httpport> <classname> <level> 設定執行在<host:port>的守護程序的日誌級別。這個命令內部會連線http://<host:port>/logLevel?log=<name>

針對指定的守護程序，獲取/設定日誌級別.

示例1：

[[email protected] ~]# hadoop daemonlog -getlevel hadoopcluster82:50075 org.apache.hadoop.hdfs.server.datanode.DataNode
Connecting to http://hadoopcluster82:50075/logLevel?log=org.apache.hadoop.hdfs.server.datanode.DataNode
Submitted Log Name: org.apache.hadoop.hdfs.server.datanode.DataNode
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO

[[email protected] ~]# yarn daemonlog -getlevel hadoopcluster79:8088 org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Connecting to http://hadoopcluster79:8088/logLevel?log=org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Submitted Log Name: org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO

[[email protected] ~]# yarn daemonlog -getlevel hadoopcluster78:19888 org.apache.hadoop.mapreduce.v2.hs.JobHistory
Connecting to http://hadoopcluster78:19888/logLevel?log=org.apache.hadoop.mapreduce.v2.hs.JobHistory
Submitted Log Name: org.apache.hadoop.mapreduce.v2.hs.JobHistory
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO

nodemanager

使用: yarn nodemanager

啟動NodeManager

proxyserver

使用: yarn proxyserver

啟動web proxy server

resourcemanager

使用: yarn resourcemanager [-format-state-store]

引數選項 描述
-format-state-store RMStateStore的格式. 如果過去的應用程式不再需要，則清理RMStateStore， RMStateStore僅僅在ResourceManager沒有執行的時候，才執行RMStateStore

啟動ResourceManager

rmadmin

使用:

  yarn rmadmin [-refreshQueues]
               [-refreshNodes]
               [-refreshUserToGroupsMapping] 
               [-refreshSuperUserGroupsConfiguration]
               [-refreshAdminAcls] 
               [-refreshServiceAcl]
               [-getGroups [username]]
               [-transitionToActive [--forceactive] [--forcemanual] <serviceId>]
               [-transitionToStandby [--forcemanual] <serviceId>]
               [-failover [--forcefence] [--forceactive] <serviceId1> <serviceId2>]
               [-getServiceState <serviceId>]
               [-checkHealth <serviceId>]
               [-help [cmd]]
引數選項 描述
-refreshQueues 過載佇列的ACL，狀態和排程器特定的屬性，ResourceManager將過載mapred-queues配置檔案
-refreshNodes 動態重新整理dfs.hosts和dfs.hosts.exclude配置，無需重啟NameNode。
dfs.hosts：列出了允許連入NameNode的datanode清單（IP或者機器名）
dfs.hosts.exclude：列出了禁止連入NameNode的datanode清單（IP或者機器名）
重新讀取hosts和exclude檔案，更新允許連到Namenode的或那些需要退出或入編的Datanode的集合。
-refreshUserToGroupsMappings 重新整理使用者到組的對映。
-refreshSuperUserGroupsConfiguration 重新整理使用者組的配置
-refreshAdminAcls 重新整理ResourceManager的ACL管理
-refreshServiceAcl ResourceManager過載服務級別的授權檔案。
-getGroups [username] 獲取指定使用者所屬的組。
-transitionToActive [–forceactive] [–forcemanual] <serviceId> 嘗試將目標服務轉為 Active 狀態。如果使用了–forceactive選項，不需要核對非Active節點。如果採用了自動故障轉移，這個命令不能使用。雖然你可以重寫–forcemanual選項，你需要謹慎。
-transitionToStandby [–forcemanual] <serviceId> 將服務轉為 Standby 狀態. 如果採用了自動故障轉移，這個命令不能使用。雖然你可以重寫–forcemanual選項，你需要謹慎。
-failover [–forceactive] <serviceId1> <serviceId2> 啟動從serviceId1 到 serviceId2的故障轉移。如果使用了-forceactive選項，即使服務沒有準備，也會嘗試故障轉移到目標服務。如果採用了自動故障轉移，這個命令不能使用。
-getServiceState <serviceId> 返回服務的狀態。（注：ResourceManager不是HA的時候，時不能執行該命令的）
-checkHealth <serviceId> 請求伺服器執行健康檢查，如果檢查失敗，RMAdmin將用一個非零標示退出。（注：ResourceManager不是HA的時候，時不能執行該命令的）
-help [cmd] 顯示指定命令的幫助，如果沒有指定，則顯示命令的幫助。

scmadmin

使用: yarn scmadmin [options]

引數選項 描述
-help Help
-runCleanerTask Runs the cleaner task

Runs Shared Cache Manager admin client

sharedcachemanager

使用: yarn sharedcachemanager

啟動Shared Cache Manager

timelineserver

之前yarn執行框架只有Job history server，這是hadoop2.4版本之後加的通用Job History Server，命令為Application Timeline Server，詳情請看：The YARN Timeline Server

使用: yarn timelineserver

啟動TimeLineServer

相關推薦

Hadoop之YARN命令

概述 YARN命令是呼叫bin/yarn指令碼檔案，如果執行yarn指令碼沒有帶任何引數，則會列印yarn所有命令的描述。 使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS]

2.淺析Hadoop之YARN

返回 ica 組件 任務管理 管理者 節點 container 狀態 nod YARN也是主從架構，主節點是ResourceManager，從節點是NodeManager，是一種資源分配及任務管理的組件 針對每個任務還有ApplicationMaster應用管理者和Cont

搭建部署Hadoop 之Yarn

.lib get allow component 分享 marshal red err 申請 Yarn 集群資源管理系統Yarn 角色及概念?Yarn 是 Hadoop 的一個通用的資源管理系統? Yarn 角色 – Resourcemanager – Node

hadoop之hdfs命令剖析

（1）檢視hdfs主從架構程序 [[email protected] hadoop-2.6.0-cdh5.7.0]$ jps 13490 DataNode 14800 ResourceManager 13366 NameNode 25008 Jps 1

Hadoop之——HDFS命令

1.對hdfs操作的命令格式是hadoop fs     1.1 -ls        <path>    表示對hdfs下一級目錄的檢視     1.2 -lsr    <path>    表示對hdfs目錄的遞迴檢視     1.3    -

hadoop job yarn 命令

hadoop命令列 與job相關的：命令列工具 • 1.檢視 Job 資訊：hadoop job -list 2.殺掉 Job： hadoop  job –kill  job_id3.指定路徑下檢視歷史日誌彙總：hadoop job -history output-dir 4.作業的更多細節： hadoop

Hadoop之YARN在單節點上執行

您可以通過設定幾個引數並執行ResourceManager守護程序和NodeManager守護程序，以偽分佈模式在YARN上執行MapReduce作業。 在基於偽分散式的基礎上，格式化完HDFS系統之後，配置引數如下： 1.配置YARN的環境 $

Hadoop之HDFS命令

hdfs dfsadmin [GENERIC_OPTIONS] [-report [-live] [-dead] [-decommissioning]] [-safemode enter | leave | get | wait] [-sa

Hadoop之yarn單節點安裝配置

開始之前請確保您已安裝並配置了hdfs1、修改yarn的核心配置檔案[[email protected] hadoop-2.7.6]#vi etc/hadoop/mapred-site.xml<configuration> <proper

Hadoop記錄-Yarn命令

eric 獲取 lan borde psc standby group ren cls 概述 YARN命令是調用bin/yarn腳本文件，如果運行yarn腳本沒有帶任何參數，則會打印yarn所有命令的描述。 使用: yarn [--config confdir] COM

hadoop之yarn詳解（基礎架構篇）

本文主要從yarn的基礎架構和yarn的作業執行流程進行闡述 一、yarn的概述        Apache Yarn（Yet Another Resource Negotiator的縮寫）是hadoop叢集資源管理器系統，Yarn從hadoop 2引入，最初是為了

hadoop之yarn詳解（框架進階篇）

   前面在hadoop之yarn詳解（基礎架構篇）這篇文章提到了yarn的重要元件有ResourceManager，NodeManager，ApplicationMaster等，以及yarn排程作業的執行過程，Yarn將它的功能分為兩層：負責資源管理的平臺層，葉稱為第一層排程，以及二級排

hadoop之yarn（優化篇）

最近一直在學習hadoop的一些原理和優化，然後也做了一些實踐，也有沒有去做實踐的，反正個人觀點都記錄下來 一、yarn的介紹 　　YARN的基本結構由一個ResourceManager與多個NodeManager組成。ResourceManager負責對NodeManager所持有的資源進行統一管理和排程。

Hadoop體系結構之 Yarn

tle alt 隔離機制 實例 任務管理 方法 環境 兩種 管理系 1.1 YARN 基本架構 YARN是Hadoop 2.0中的資源管理系統，它的基本設計思想是將MRv1中的JobTracker拆分成了兩個獨立的服務：一個全局的資源管理器ResourceManager和每

大資料開發之Hadoop篇----jps命令的剖析

我們在大資料的日常生產當中會經常使用到jps命令，如果問起很多人他們都會知道jps命令是用來幹什麼的，檢視java相關的程序。但是這個命令是屬於哪個元件提供的呢？最起碼可以肯定不是linux系統自帶的。 jps是屬於jdk自帶的命令，當你機器安裝了jdk同時將jdk配置到系統的環境變數當中後，在

大資料開發之Hadoop篇----YARN設計架構

1，Yarn架構設計 在hadoop當中無論是hdfs還是yarn都是服從主從設計的架構的，就是一個主節點用於管理整個叢集，而一堆的從節點就是實際工作者了。而在yarn當中，主節點程序為ResourceManager，從節點程序為NodeManager。我們簡單回顧一下提交作業到yarn上面的流

hadoop之MapReduce架構及Yarn環境搭建

MapReduce架構 基於hadoop2.0架構是運行於YARN環境的。 YARN環境-主從結構 整個yarn環境是MapReduce的執行環境 主節點Resource Manager 負責排程，是Resource Manager，給Node Manag

hadoop系列之yarn

YARN YARN概述 YARN，即 Yet Another Resource Negotiator 的縮寫， 它是 Hadoop 資源管理系統，是在 Hadoop2 以後引入的。它在整個 Hadoop 中的位置如下： YARN 與 MapR

Hadoop --- 入門之shell命令

目錄 FS Shell 呼叫檔案系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為引數。URI格式是scheme://authority/path。對HDFS檔案系統，

偽分散式執行Hadoop例項之yarn執行MapReduce例項

一、配置叢集 配置yarn-env.sh檔案 配置一下JAVA_HOME 配置yarn-site.xml <!-- reducer獲取資料的方式 --> <property> <name>yarn.nodemanager.au