1. 程式人生 > >Unable to initialize any output collector(MapReduce執行到reduce過程失敗丟擲IO)

Unable to initialize any output collector(MapReduce執行到reduce過程失敗丟擲IO)

報錯程式碼如下:

[[email protected] mypro]$ hadoop jar flow.jar  /flumcount/input  /flumcount/output

17/03/31 16:29:37 INFO client.RMProxy: Connecting to ResourceManager at mini1/192.168.40.201:8032
17/03/31 16:29:38 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
17/03/31 16:29:39 INFO input.FileInputFormat: Total input paths to process : 1
17/03/31 16:29:39 INFO mapreduce.JobSubmitter: number of splits:1
17/03/31 16:29:40 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1490947205776_0003
17/03/31 16:29:41 INFO impl.YarnClientImpl: Submitted application application_1490947205776_0003
17/03/31 16:29:41 INFO mapreduce.Job: The url to track the job: http://mini1:8088/proxy/application_1490947205776_0003/
17/03/31 16:29:41 INFO mapreduce.Job: Running job: job_1490947205776_0003
17/03/31 16:29:59 INFO mapreduce.Job: Job job_1490947205776_0003 running in uber mode : false
17/03/31 16:29:59 INFO mapreduce.Job:  map 0% reduce 0%
17/03/31 16:30:30 INFO mapreduce.Job: Task Id : attempt_1490947205776_0003_m_000000_0, Status : FAILED
Error: java.io.IOException: Unable to initialize any output collector  (
無法初始化任何輸出收集器
        at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:412)
        at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
        at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:695)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)

        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

看錯誤資訊報的是IO流錯誤,檢視自己的程式碼:

public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);

job.setJarByClass(FlowClient.class);

job.setMapperClass(FLowMapper.class);
job.setReducerClass(FlowReducer.class);

job.setMapOutputKeyClass(Text.class);

 // (這裡下面的Text類應該都是org.apache.hadoop.io.Text)
job.setMapOutputValueClass(FlowBean.class);

job.setOutputKeyClass(Text.class);     //( 在輸出這裡引用的不是import org.apache.hadoop.io.Text;所以會出錯)
job.setOutputValueClass(FlowBean.class);

FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));

boolean rs = job.waitForCompletion(true);
System.exit(rs ? 0 : 1);
}

相關推薦

Unable to initialize any output collector(MapReduce執行reduce過程失敗IO)

報錯程式碼如下: [[email protected] mypro]$ hadoop jar flow.jar  /flumcount/input  /flumcount/output 17/03/31 16:29:37 INFO client.RMProxy:

Hadoop Error: java.io.IOException: Unable to initialize any output collector

[[email protected] ~]$ hadoop jar mr.jar cn.hadoop.mr.WCRunner 16/07/24 16:52:08 INFO client.RMProxy: Connecting to ResourceManager

R 語言連線錯誤資訊unable to initialize the JIT

出現錯誤的環境 MacOS 使用 Java 呼叫 R 連線 Sqlserver 報了一個奇怪的錯誤,花了好久才解決,記錄一下 long vectors not supported yet: qap_

MATLAB讀視訊報錯 Unable to initialize the video obtain properties (videoreader in Matlab)

這個bug卡了半天,這裡記錄一下 Error using VideoReader/init (line 619) Could not read file due to an unexpected error. Reason: Unable to initialize the video obtain

javax.validation.ValidationException: HV000183: Unable to initialize 'javax.el.ExpressionFactory'.

情景 使用hibernate bean validator ,生產環境執行專案正常,但使用單元測試時便丟擲異常。 錯誤資訊如下 Caused by: javax.validation.ValidationException: HV000183: Unable to initi

錯誤:Unable to initialize MapOutputCollector的解決辦法

我是因為把我自己定義的bean當成key從map端傳到reduce端了,但是我沒有針對實現的WritableComparable介面,而是實現的Writable和Comparable介面(講道理WritableComparable介面也是對這兩個介面做了整合,為什麼我分別實現

ORA-09945: Unable to initialize the audit trail file

RMAN> connect targetRMAN-00571: ===========================================================RMAN-00569: =============== ERROR MESSAGE S

Mapreduce執行任務過程

1.把輸入的檔案邏輯切片,每個切片由一個maptask處理; 2.對切片中的資料按照一定的規格解析成鍵值對,預設規則是每一行解析成一對鍵值對; 3.每解析出呼叫一個kv呼叫一次map中的map方法,會輸出零個或者多個鍵值對; 4.按照一定的隊則,講輸出的鍵值對進行分割槽,分割槽的數量就是

出現 Unable to instantiate default tuplizer,hibernate自動建表失敗,原因是在實體類中聲明瞭成員變數describe,而describe是mysql關鍵字

歡迎使用Markdown編輯器寫部落格 本Markdown編輯器使用StackEdit修改而來,用它寫部落格,將會帶來全新的體驗哦: Markdown和擴充套件Markdown簡潔的語法 程式碼塊高亮 圖片連結和圖片上傳 LaTex數學公式 UML序列圖和

Idea執行web專案時異常:java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

錯誤描述: 用 idea 執行 web 專案時無法連線資料庫,狀態碼:500。 看下面丟擲的異常是: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 百度了一下,原因是 tomcat 找不到 MYSQL

C#連接mysql是提示unable to connect to any of the specid

C# mysql unable to connect to 1、測試連接時提示錯誤如下圖:2、解決的辦法是Server name用127.0.0.1。別用'.'或者localhost。如下圖:C#連接mysql是提示unable to connect to any of the s

ROS-debug1 : 執行roscore時報錯:Unable to contact my own server at...

一、問題描述   在終端執行roscore時,出現錯誤:Unable to contact my own server at...,如下圖: 二、解決方法   以上問題是由於ROS環境變數ROS_MASTER_URI設定錯誤導致的,重新設定該變數即可。   開啟~/.bashrc檔案,新增或修改環

執行Android專案 Unable to instantiate application, IllegalAccessException

執行Android專案報如下錯誤 06-08 14:08:52.370 12415-12415/com.dobest E/AndroidRuntime: FATAL EXCEPTION: main Process: com.dobest, PID: 12415 java.lang.Ru

生效admin環境變數後執行cinder service-list報錯ERROR: Unable to establish connection to http://controller:35357/

ERROR: Unable to establish connection to http://controller:35357/ 一、報錯資訊 二、解決方法 一、報錯資訊 [[email protected]

執行OK6410攝像頭程式時出現Unable to handle kernel NULL pointer dereference at virtual address 00000060

[[email protected]]# ./test_usb_camera  Unable to handle kernel NULL pointer dereference at virtual address 00000060 pgd = c3d70000 [000

Eclipse中Android專案執行時出現Unable to execute dex: java.nio.BufferOverflowException. Check the Eclipse l

  本文轉載自網際網路,如有侵權,請聯絡我及時刪除。謝謝。 系統環境:Win7-64位 開發環境:eclipse-64位   右鍵工程 -> Build Path -> Configure Build Path -> 點選Libraries

【laravel5.6】 laravel 執行 php artisan route:cache 報錯 Unable to prepare route [/] for serialization. Uses Closure.

 laravel 在部署的時候。需要優化路由載入,執行命令 php artisan route:cache 報錯了。如下   這個異常的錯誤資訊,提示的已經非常明確了:大概意思就是說在閉包裡邊,是不能夠進行路由快取的。那麼現在就有兩種辦法: 想要繼續使用閉包,

[原創]Navigation執行move_base失敗Unable to get starting pose of robot, unable to create global plan”分析

move_base列印輸出LOG如下: //進入planThread [ INFO] [1533878479.616677684]: MOVE_BASE makeplan ............//進入makePlan [ WARN] [1533878479.6167

IDEA執行spring boot 出現Unable to start EmbeddedWebApplicationContext due to missing EmbeddedServletCont

idea 啟動專案的時候報錯(Unable to start EmbeddedWebApplicationContext due to missing EmbeddedServletContainerFactory bean),主要是以下的依賴     &l

執行geth attach報錯:Unable to attach to remote geth: no known transport for URL scheme "c"

在window10上執行get attach命令啟動互動式JavaScript環境連線到節點的時候,報錯Unable to attach to remote geth: no known transport for URL scheme "c"。 但是在windows7或者geth1.8以前的版