關於執行PI和wordcount的map0%,reduce0%問題解決方法
記得:沒金剛鑽別攬瓷器活!當然
怎麼說呢。。4個site.xml檔案配置別搞的太高大上,用預設的就好了,這樣就不會導致你機器尤其是master節點卡在map0%和reduce0%了。。。。
為了明白這問題,一搞這問題又是一天啊。。。
我的電腦配置:
3臺騰訊雲:1核2G,50G;
以下為我的4個site檔案配置:
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>指明mapreduce的排程框架為yarn</description>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
<description>namenode的目錄位置</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
<description>datanode's address</description>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>hdfs系統的副本數量</description>
</property>
</configuration>
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmpdata</value>
<description>Abasefor other temporary directories.</description>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
最後,一般情況下都是你程式碼寫錯了。。恩,就這麼多了。。。