Unable to initialize any output collector(MapReduce執行到reduce過程失敗丟擲IO)
報錯程式碼如下:
[[email protected] mypro]$ hadoop jar flow.jar /flumcount/input /flumcount/output
17/03/31 16:29:37 INFO client.RMProxy: Connecting to ResourceManager at mini1/192.168.40.201:803217/03/31 16:29:38 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
17/03/31 16:29:39 INFO input.FileInputFormat: Total input paths to process : 1
17/03/31 16:29:39 INFO mapreduce.JobSubmitter: number of splits:1
17/03/31 16:29:40 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1490947205776_0003
17/03/31 16:29:41 INFO impl.YarnClientImpl: Submitted application application_1490947205776_0003
17/03/31 16:29:41 INFO mapreduce.Job: The url to track the job: http://mini1:8088/proxy/application_1490947205776_0003/
17/03/31 16:29:41 INFO mapreduce.Job: Running job: job_1490947205776_0003
17/03/31 16:29:59 INFO mapreduce.Job: Job job_1490947205776_0003 running in uber mode : false
17/03/31 16:29:59 INFO mapreduce.Job: map 0% reduce 0%
17/03/31 16:30:30 INFO mapreduce.Job: Task Id : attempt_1490947205776_0003_m_000000_0, Status : FAILED
Error: java.io.IOException: Unable to initialize any output collector (
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:412)
at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:695)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
看錯誤資訊報的是IO流錯誤,檢視自己的程式碼:
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
job.setJarByClass(FlowClient.class);
job.setMapperClass(FLowMapper.class);
job.setReducerClass(FlowReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(FlowBean.class);
job.setOutputKeyClass(Text.class);
//( 在輸出這裡引用的不是import org.apache.hadoop.io.Text;所以會出錯)
job.setOutputValueClass(FlowBean.class);
FileInputFormat.setInputPaths(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
boolean rs = job.waitForCompletion(true);
System.exit(rs ? 0 : 1);
}
相關推薦
Unable to initialize any output collector(MapReduce執行到reduce過程失敗丟擲IO)
報錯程式碼如下: [[email protected] mypro]$ hadoop jar flow.jar /flumcount/input /flumcount/output 17/03/31 16:29:37 INFO client.RMProxy:
Hadoop Error: java.io.IOException: Unable to initialize any output collector
[[email protected] ~]$ hadoop jar mr.jar cn.hadoop.mr.WCRunner 16/07/24 16:52:08 INFO client.RMProxy: Connecting to ResourceManager
R 語言連線錯誤資訊unable to initialize the JIT
出現錯誤的環境 MacOS 使用 Java 呼叫 R 連線 Sqlserver 報了一個奇怪的錯誤,花了好久才解決,記錄一下 long vectors not supported yet: qap_
MATLAB讀視訊報錯 Unable to initialize the video obtain properties (videoreader in Matlab)
這個bug卡了半天,這裡記錄一下 Error using VideoReader/init (line 619) Could not read file due to an unexpected error. Reason: Unable to initialize the video obtain
javax.validation.ValidationException: HV000183: Unable to initialize 'javax.el.ExpressionFactory'.
情景 使用hibernate bean validator ,生產環境執行專案正常,但使用單元測試時便丟擲異常。 錯誤資訊如下 Caused by: javax.validation.ValidationException: HV000183: Unable to initi
錯誤:Unable to initialize MapOutputCollector的解決辦法
我是因為把我自己定義的bean當成key從map端傳到reduce端了,但是我沒有針對實現的WritableComparable介面,而是實現的Writable和Comparable介面(講道理WritableComparable介面也是對這兩個介面做了整合,為什麼我分別實現
ORA-09945: Unable to initialize the audit trail file
RMAN> connect targetRMAN-00571: ===========================================================RMAN-00569: =============== ERROR MESSAGE S
Mapreduce執行任務過程
1.把輸入的檔案邏輯切片,每個切片由一個maptask處理; 2.對切片中的資料按照一定的規格解析成鍵值對,預設規則是每一行解析成一對鍵值對; 3.每解析出呼叫一個kv呼叫一次map中的map方法,會輸出零個或者多個鍵值對; 4.按照一定的隊則,講輸出的鍵值對進行分割槽,分割槽的數量就是
出現 Unable to instantiate default tuplizer,hibernate自動建表失敗,原因是在實體類中聲明瞭成員變數describe,而describe是mysql關鍵字
歡迎使用Markdown編輯器寫部落格 本Markdown編輯器使用StackEdit修改而來,用它寫部落格,將會帶來全新的體驗哦: Markdown和擴充套件Markdown簡潔的語法 程式碼塊高亮 圖片連結和圖片上傳 LaTex數學公式 UML序列圖和
Idea執行web專案時丟擲異常:java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
錯誤描述: 用 idea 執行 web 專案時無法連線資料庫,狀態碼:500。 看下面丟擲的異常是: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 百度了一下,原因是 tomcat 找不到 MYSQL
C#連接mysql是提示unable to connect to any of the specid
C# mysql unable to connect to 1、測試連接時提示錯誤如下圖:2、解決的辦法是Server name用127.0.0.1。別用'.'或者localhost。如下圖:C#連接mysql是提示unable to connect to any of the s
ROS-debug1 : 執行roscore時報錯:Unable to contact my own server at...
一、問題描述 在終端執行roscore時,出現錯誤:Unable to contact my own server at...,如下圖: 二、解決方法 以上問題是由於ROS環境變數ROS_MASTER_URI設定錯誤導致的,重新設定該變數即可。 開啟~/.bashrc檔案,新增或修改環
執行Android專案 Unable to instantiate application, IllegalAccessException
執行Android專案報如下錯誤 06-08 14:08:52.370 12415-12415/com.dobest E/AndroidRuntime: FATAL EXCEPTION: main Process: com.dobest, PID: 12415 java.lang.Ru
生效admin環境變數後執行cinder service-list報錯ERROR: Unable to establish connection to http://controller:35357/
ERROR: Unable to establish connection to http://controller:35357/ 一、報錯資訊 二、解決方法 一、報錯資訊 [[email protected]
執行OK6410攝像頭程式時出現Unable to handle kernel NULL pointer dereference at virtual address 00000060
[[email protected]]# ./test_usb_camera Unable to handle kernel NULL pointer dereference at virtual address 00000060 pgd = c3d70000 [000
Eclipse中Android專案執行時出現Unable to execute dex: java.nio.BufferOverflowException. Check the Eclipse l
本文轉載自網際網路,如有侵權,請聯絡我及時刪除。謝謝。 系統環境:Win7-64位 開發環境:eclipse-64位 右鍵工程 -> Build Path -> Configure Build Path -> 點選Libraries
【laravel5.6】 laravel 執行 php artisan route:cache 報錯 Unable to prepare route [/] for serialization. Uses Closure.
laravel 在部署的時候。需要優化路由載入,執行命令 php artisan route:cache 報錯了。如下 這個異常的錯誤資訊,提示的已經非常明確了:大概意思就是說在閉包裡邊,是不能夠進行路由快取的。那麼現在就有兩種辦法: 想要繼續使用閉包,
[原創]Navigation執行move_base失敗“Unable to get starting pose of robot, unable to create global plan”分析
move_base列印輸出LOG如下: //進入planThread [ INFO] [1533878479.616677684]: MOVE_BASE makeplan ............//進入makePlan [ WARN] [1533878479.6167
IDEA執行spring boot 出現Unable to start EmbeddedWebApplicationContext due to missing EmbeddedServletCont
idea 啟動專案的時候報錯(Unable to start EmbeddedWebApplicationContext due to missing EmbeddedServletContainerFactory bean),主要是以下的依賴 &l
執行geth attach報錯:Unable to attach to remote geth: no known transport for URL scheme "c"
在window10上執行get attach命令啟動互動式JavaScript環境連線到節點的時候,報錯Unable to attach to remote geth: no known transport for URL scheme "c"。 但是在windows7或者geth1.8以前的版