hadoop2.2.0 偽分佈環境配置
阿新 • • 發佈:2019-02-04
3、安裝hadoop2.2
將下載的hadoop2.2.tar.gz解壓到一個目錄,然後進行配置(cd $HADOOP_HME/etc/hadoop):
(1)編輯hodoop-env.sh,修改以下對應行為:- export JAVA_HOME=/usr/lib/jvm/java-6-sun
- <property>
- <name>fs.default
- <value>hdfs://localhost:9000</value>
- </property>
(3)編輯hdfs-site.xml,新增以下配置:
配置name節點和data節點的資料存放位置,dfs.replication表示資料備份數
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>/root/hadoopDir/hadoop4namenode</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>/root/hadoopDir/hadoop4datanode</value>
- </property>
(4)編輯yarn-site.xml,加入以下配置:
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- <property>
- <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
- <value>org.apache.hadoop.mapred.ShuffleHandler</value>
- </property>
(5)編輯mapred-site.xml,新增以下配置:
- <property>
- <name>mapreduce.cluster.temp.dir</name>
- <value></value>
- <description>No description</description>
- <final>true</final>
- </property>
- <property>
- <name>mapreduce.cluster.local.dir</name>
- <value></value>
- <description>No description</description>
- <final>true</final>
- </property>