【Hadoop】Hadoop2.7.3執行job下來幾個bug和解決思路
基本條件：name伺服器和node伺服器都正常。WEBUI中顯示都是OK，都是存活。
執行現象之一：總是job執行中，毫無反應。
16/09/01 09:32:29 INFO mapreduce.Job: Running job: job_1472644198158_0001
執行現象二：程式碼如下，總是嘗試執行， 報failed。
16/09/01 09:32:29 INFO mapreduce.Job: Running job: job_1472644198158_0001
16/09/01 09:32:46 INFO mapreduce.Job: Job job_1472644198158_0001 running in uber mode : false
16/09/01 09:32:46 INFO mapreduce.Job: map 0% reduce 0%
16/09/01 09:33:08 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000000_0, Status : FAILED
16/09/01 09:33:08 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000001_0, Status : FAILED
16/09/01 09:33:25 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000001_1, Status : FAILED
16/09/01 09:33:29 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000000_1, Status : FAILED
16/09/01 09:33:41 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000001_2, Status : FAILED
16/09/01 09:33:45 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000000_2, Status : FAILED
16/09/01 09:33:58 INFO mapreduce.Job: map 100% reduce 100%
16/09/01 09:33:58 INFO mapreduce.Job: Job job_1472644198158_0001 failed with state FAILED due to: Task failed task_1472644198158_0001_m_000001
Job failed as tasks failed. failedMaps:1 failedReduces:0
16/09/01 09:33:58 INFO mapreduce.Job: Counters: 17
Job Counters
Failed map tasks=7
Killed map tasks=1
Killed reduce tasks=1
Launched map tasks=8
Other local map tasks=6
Data-local map tasks=2
Total time spent by all maps in occupied slots (ms)=123536
Total time spent by all reduces in occupied slots (ms)=0
Total time spent by all map tasks (ms)=123536
Total time spent by all reduce tasks (ms)=0
Total vcore-milliseconds taken by all map tasks=123536
Total vcore-milliseconds taken by all reduce tasks=0
Total megabyte-milliseconds taken by all map tasks=126500864
Total megabyte-milliseconds taken by all reduce tasks=0
Map-Reduce Framework
CPU time spent (ms)=0
Physical memory (bytes) snapshot=0
Virtual memory (bytes) snapshot=0
[
16/09/01 10:16:30 INFO client.RMProxy: Connecting to ResourceManager at /114.XXX.XXX.XXX:8032
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://master:9000/output already exists
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
at org.apache.hadoop.mapreduce.Job
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
at org.apache.hadoop.examples.WordCount.main(WordCount.java:87)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
執行現象三，子節點執行job報錯
16/09/01 09:32:29 INFO mapreduce.Job: Running job: job_1472644198158_0001
16/09/01 09:32:46 INFO mapreduce.Job: Job job_1472644198158_0001 running in uber mode : false
16/09/01 09:32:46 INFO mapreduce.Job: map 0% reduce 0%
16/09/01 09:33:08 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000000_0, Status : FAILED
16/09/01 09:33:08 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000001_0, Status : FAILED
16/09/01 09:33:25 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000001_1, Status : FAILED
16/09/01 09:33:29 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000000_1, Status : FAILED
16/09/01 09:33:41 INFO mapreduce.Job: Task Id : attempt_1472644198158_0001_m_000001_2, Status : FAILED
問題解決方案：
針對問題一，總是執行中的狀態，解決方案為修改yarn-site.xml。提供最小為1024MB，最大2048MB，即可啟動計算。
針對問題二，出現如上面程式碼問題，若為生成的程式碼提示的bug。可能的原因在於你輸出的結果資料夾中如output/資料夾已經存在。
請執行hadoop fs -rm -r /output 。（hadoop fs -rmr /output）括號中為老版本命令。
針對問題三，如果出現jobfaild，請查詢node中的日誌，會發現可能的問題在於node各節點和name節點中資訊溝通失敗。
需要修改hosts檔案。具體修改方法比較簡單，請百度：）
相關推薦
【Hadoop】Hadoop2.7.3執行job下來幾個bug和解決思路
基本條件：name伺服器和node伺服器都正常。WEBUI中顯示都是OK，都是存活。 執行現象之一：總是job執行中，毫無反應。 16/09/01 09:32:29 INFO mapreduce.Job: Running job: job_1472644
【Hadoop】Hadoop2.7.3安裝Hive 2.1.0
第一步： 下載最新的hive，直接去apache 裡面找hive2.1.0下載就行。 第二步，解壓到伺服器 tar zxvf apache-hive-2.0.0-bin.tar.gz mv apache-hive-2.0.0-bin /hom
【Hadoop】 2.7.3版本 hdfs 命令列使用
1.檢視HDFS下目錄結構及檔案 [email protected]:~$ hdfs dfs -ls -R /2.建立檔案目錄/tmp[email protected]:~$ hd
【原創 Hadoop&Spark 動手實踐 3】Hadoop2.7.3 MapReduce理論與動手實踐
pack license 讀取 rgs 理論 程序員開發 -s 接口 pri 開始聊MapReduce，MapReduce是Hadoop的計算框架，我學Hadoop是從Hive開始入手，再到hdfs，當我學習hdfs時候，就感覺到hdfs和mapreduce關系的緊密。這個
【轉載 Hadoop&Spark 動手實踐 2】Hadoop2.7.3 HDFS理論與動手實踐
NameNode可以看作是分散式檔案系統中的管理者，主要負責管理檔案系統的名稱空間、叢集配置資訊和儲存塊的複製等。NameNode會將檔案系統的Meta-data儲存在記憶體中，這些資訊主要包括了檔案資訊、每一個檔案對應的檔案塊的資訊和每一個檔案塊在DataNode的資訊等。 (
【原創 Spark動手實踐 1】Hadoop2.7.3安裝部署實際動手
dmi 遠程 nag proc host 一個 error img 連接 目錄： 第一部分：操作系統準備工作： 1. 安裝部署CentOS7.3 1611 2. CentOS7軟件安裝（net-tools, wget, vim等） 3. 更新CentOS
【更新】CLion v2018.3釋出（六）：VCS和外掛
下載CLion最新版本 CLion是一款專為開發C及C++所設計的跨平臺IDE。它是以IntelliJ為基礎設計的，包含了許多智慧功能來提高開發人員的生產力。這種強大的IDE幫助開發人員在Linux、OS X和Windows上來開發C/C++，同時它還使用智慧編輯器來提高程式碼質量、自動程式碼重
【Unity】扒一扒Profiler中這幾個“佔坑鬼”
原文連結：http://blog.uwa4d.com/archives/presentandsync.html WaitForTargetFPS、Gfx.WaitForPresent 和 Graphics.PresentAndSync是我們經常會被問到的引數。想必正在讀此文的你也經常在Profi
【C】C語言中識別符號宣告的幾個關鍵字總結
C語言中宣告一個名稱就是把一個識別符號與某個C語言物件相關聯，如變數、函式或型別，C語言中可以宣告的名稱包括：變數、函式、型別、型別標誌、結構成員與聯合成員、列舉常量、語句標號和前處理器巨集。除了語句標
Spark處理框架搭建【VM15 + CentOS7 + Hadoop2.7.5 + Scala2.12.7 + Spark2.3.1】
一、目的 二、準備工作 三、安裝過程 1 解除安裝Linux自帶的jdk 檢視系統自帶的jdk [[email protected] ~]# java -version openjdk version "1.8.0_161" OpenJDK Runt
【Hadoop2.x】CentOS中jdk的安裝，hadoop2.7.3環境配置
前提 VMware虛擬機器中已正確安裝CentOS系統，安裝過程可見CentOS 6 安裝 下載好jdk-8u151-linux-x64.tar.gz，以及hadoop-2.7.3.tar.gz 遠端
【轉】CentOS 7.0 安裝Redis 3.2.1詳細過程和使用常見問題
nec count ges des useful 內存 warning before outside http://www.linuxidc.com/Linux/2016-09/135071.htm 環境：CentOS 7.0 Redis 3.2.1 Redis的安裝與啟動
配置MapReduce插件時，彈窗報錯org/apache/hadoop/eclipse/preferences/MapReducePreferencePage : Unsupported major.minor version 51.0（Hadoop2.7.3集群部署）
ava 不一致 nbsp 1.0 log class dll blog 無效 原因： hadoop-eclipse-plugin-2.7.3.jar 編譯的jdk版本和eclipse啟動使用的jdk版本不一致導致。 解決方案一： 修改myeclipse.ini文件
【centos6.5 hadoop2.7 _64位一鍵安裝腳本】有問題加我Q直接問
生效 tracker 路徑 開始 cat func iyu 安裝腳本 load #!/bin/bash#@author：feiyuanxing 【既然笨到家，就要努力到家】#@date：2017-01-05#@E-Mail：[email protected]#@TA
（學習筆記版）Hadoop入門（一）：Hadoop2.7.3完全分布式集群安裝
min property per cal mon 分別是 master 修改 node 在這裏寫下安裝hadoop2.7.3版本的完全分布式的過程，因為剛開始學習hadoop不久，希望自己把學習的東西記錄下來，和大家一起分享，可能有錯誤的地方，還請大牛們批評指正，在我學習的
【Hadoop】HDFS的執行原理
【Hadoop】HDFS的執行原理 一部落格轉自–http://www.daniubiji.cn/archives/596 簡介 HDFS（Hadoop Distributed File System
執行stop-dfs.sh後無法停止hadoop叢集【hadoop】
錯誤情況： Stopping namenodes on [master] master: no namenode to stop slave1: no datanode to stop slave2: no datanode to stop slave3: no datanode t
Hadoop2.7.3 HA高可靠性叢集搭建(Hadoop+Zookeeper)
一.概述 在hadoop1時代，只有一個NameNode。如果該NameNode資料丟失或者不能工作，那麼整個叢集就不能恢復了。這是hadoop1中的單點問題，也是hadoop1不可靠的表現。
【Hadoop】Windows 10 在Intellij IEDA本地執行Hadoop MapReduce例項
環境： 作業系統：Windows 10 Hadoop版本：2.7.3 Java版本: 1.8 前期準備： 1. 配置hadoop環境。 2. 配置maven環境。 1.下載maven部署包apache-maven-3.5.3-
Ubuntu16.04 上執行 Hadoop2.7.3 自帶example wordCount摸索記錄
首先最最重要的寫在最前面，也是我覺得個人踩得最深的坑，剛接觸hadoop的人，缺少的認識： hdfs的理解：它是一個檔案系統，跟linux的檔案系統是類似的結構，擁有類似的語法，大概就是你在linux上ls檢視檔案列表，那麼hdfs的無非就是hadoop fs -ls。ha