hadoop執行到mapreduce.job: Running job後停止執行
版本資訊:Hadoop2.7.1, openjdk 8,執行在VirtualBox 5.0.6的Ubuntu 15.04上,基本上是目前(2015.10.13)最新的版本;
問題,在偽分佈環境下,執行 bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output'dfs[a-z.]+'(Hadoop2.7.1裡的例項)時,執行到INFO mapreduce.Job: Running job:job_....之後,就不再運行了,沒有錯誤提示,ubuntu也基本死了。
網上解決方法:
(1)有說服務未啟動的。但jps後發現6個服務都啟動了,包括NameNode,SecondaryNameNode, ResourceManager, DataNode, NodeManager和jps;
(2)有說hosts檔案的問題。經檢查/etc/hosts中兩條 127.0.0.1 localhost和127.0.1.1 <username> (<username>顯示的是我的使用者名稱)很正常;
(3)有說yarn-site.xml等檔案未配置正確。經檢查與官網(http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html)上所說完全一致;
最終解決方法:
原來僅是VirtualBox建立Ubuntu時分配的資源太少了:
機器配置:記憶體4096M、硬碟500G、4個CPU、視訊記憶體128M
預設分配:記憶體768M、硬碟8G、1個CPU、視訊記憶體12M
改變後分配值:記憶體1987M(提示分配給虛擬記憶體最高的數值,即1988M時VitualBox就提醒我分配記憶體太高)、硬碟64G、2個CPU、36M視訊記憶體
以上數值,非專業調整,都是我感覺著調整的,也未必合理。
最終示例順利執行過去了。
相關推薦
hadoop執行到mapreduce.job: Running job後停止執行
版本資訊:Hadoop2.7.1, openjdk 8,執行在VirtualBox 5.0.6的Ubuntu 15.04上,基本上是目前(2015.10.13)最新的版本; 問題,在偽分佈環境下,執行 bin/hadoop jarshare/hadoop/mapreduce
MapReduce執行任務時卡在mapreduce.Job: Running Job這一步該如何解決
問題描述:在centos7系統搭建的偽分散式Hadoop基礎上,用Sqoop把HDFS上的資料匯出到Mysql的時候,發現任務執行時卡死在如下圖所示的這一步:卡了接近十分鐘意識到可能永遠也不會結束了....趕緊ctrl+c結束程序,找找原因。首先搜了下資料,發現大多數教程都說
Hadoop的MapReduce程序卡住job/雲伺服器被礦工挖礦
本人用百度的雲伺服器搭建叢集學習Hadoop,突然發現Java程序佔用了99%以上的CPU,自己MapReduce沒法執行,卡在job那裡,但是通過kill所有Java程序,重啟Hadoop叢集即可執行一兩次MapReduce。我一度以為是配置出了問題。困擾了我許久,冥冥之中肯定有問題在制約著。經過找大師幫忙
Hibernate 註解序列生成主鍵執行完select seq_t_user.nextval後不執行insert等語句導致 執行save()或update()方法無效
hiberna 不能 nal 自動提交 ext 無效 pen mave ransac 題主解決方法: 1)在DAO中獲取session的時候采用sessionFactory.getCurrentSession();不用
正確實現子執行緒任務全部完成後主執行緒關閉的四種方法
方法一 Thread.sleep 方法二 ExecutorService 方法三 thread.join 方法四 Thread.yield and Thread.
mysql學習【第11篇】:mysql老是停止執行該怎麼解決 mysql老是停止執行該怎麼解決
mysql老是停止執行該怎麼解決 你可能還會遇到無法啟動mysql的錯誤 解決方法如下:
Java多執行緒學習(1)——停止執行緒
目錄: 1.interrupt方法學習(基礎知識) 2.異常法 3.sleep法 4.return法 5.stop法(不推薦) 1.interrupt方法學習(基礎知識) 呼叫interrupt方法只是對執行緒做了一個標記(停止標記),並沒有停止執行緒的效果,需要結合以下
執行hadoop的MapReduce示例,在Running job卡住
所有的hadoop機器,${hadoop_home}/etc/hadoop/yarn-site.xml有以下配置: <property> <name>yarn.resourcemanager.hostname<
MapReduce任務執行到running job卡住
(1) 環境:Centos6.4、JDK1.7、hadoop-2.5.0-cdh5.3.3 (2) 問題:之前使用Apache的hadoop跑各種MR應用均沒出現問題,然而使用CDH版的hadoop執行到running job卻卡住了。 配置好偽分散式的hadoop叢集,啟
hadoop job執行出錯 org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodErro
job 在執行的時候在reduce的時候出現了3次 FAILED 狀態,然後在其他幾點上重試能正常跑完。 錯誤內容如下: 2014-12-04 15:38:38,564 FATAL [main] org.apache.hadoop.mapred.YarnChild: Err
大資料-Hadoop生態(13)-MapReduce框架原理--Job提交原始碼和切片原始碼解析
1.MapReduce的資料流 1) Input -> Mapper階段 輸入源是一個檔案,經過InputFormat之後,到了Mapper就成了K,V對,以上一章的流量案例來說,經過InputFormat之後,變成了手機號為key,這一行資料為value的K,V對,所以這裡我們可以自定義Inp
Hadoop 跑MapReduce Job 的時候卡主,unhealthy-nodes=1
出現跑 MR job的時候卡主,根被就沒有執行map 和reduce,修改yarn-site.xml的記憶體也不管用,檢視8088介面,發現yarn的Memory Total =0B,Active Nodes =0,而Unhealthy Nodes =1,字面意
Hadoop 裡MapReduce裡 實現多個job任務 包含(迭代式、依賴式、鏈式)
一、迭代式,所謂的迭代式,下一個執行的Job任務以上一個Job的輸出作為輸入,最終得到想要的結果。 這裡我只寫關鍵的程式碼了 Job job = new Job(new Configuration(),“test”); JobConf jobConf=(JobCon
Hadoop windows 本地執行Mapreduce 報錯 Error while running command to get file permissions
package cn.hadoop.mr.flowsum; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path
Hadoop,MapReduce,JOB引數
下面介紹MapReduce的主要的六個類,只有瞭解了這六個類的作用,才能在編寫程式中知道哪個類是要自己實現,哪些類可以呼叫預設的類,才能真正的做到遊刃有餘,關於需要自己編寫的類(使用者制定類)可以參考: InputFormat類。該類的作用是將輸入的檔案和資料分割成許
Azkaban實戰,Command型別單一job示例,任務中執行外部shell指令碼,Command型別多job工作flow,HDFS操作任務,MapReduce任務,HIVE任務
1.Azkaban實戰 Azkaba內建的任務型別支援command、java Command型別單一job示例 1、建立job描述檔案 vi command.job #command.job type=command
mapreduce job提交的幾種執行方式
總共整理下來有三大類: 叢集上直接通過jar包來呼叫,輸入和輸出檔案必須都存在hdfs叢集上 linux環境下,在eclipse中叢集或本地呼叫程式,以及輸入和輸出檔案存於叢集或本地 windows環境下,在eclipse中叢集或本地呼叫程式,以及輸入和輸出
oracle job 定時,啟動,停止,察看狀態。執行指令碼
job裡面的 last_date 和 next_date ,以及interval之間是什麼關係,last_date到底是記的 job 的開始執行時間,還是執行結束的時間。next_date到底是 job 的開始時間還是結束時間加上 interval 得出的呢?如果一個Job的
使用Kubernetes裡的job計算圓周率後2000位
使用Kubernetes裡的job(作業),我們可以很方便地執行一些比較耗時的操作。 新建一個job.ymal檔案: 定義了一個Kubernetes job,名稱為pi,型別為job,容器名稱為pi,映象為perl,執行的per命令為 print bpi(2000): 這個ymal檔案的完整內容:
Response.End方法 在try...catch語句中執行Response.End()後如何停止執行catch語句中的內容
文章:在try...catch語句中執行Response.End()後如何停止執行catch語句中的內容 呼叫Response.End()方法能保證,只輸出End方法之前的內容。 呼叫Context.ApplicationInstance.CompleteRequest();方法,會輸出方