1. 程式人生 > >Hadoop2.x主要配置

Hadoop2.x主要配置

  • hadoop-env.sh
    配置JAVA環境變數
    export JAVA_HOME=/usr/java/jdk1.8.0_65

  • core-site.xml
    配置fs.defaultFShadoop.tmp.dir屬性

<!-- 配置fs.defaultFS屬性。hadoop所使用的檔案系統 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://fp-bd6:8020</value>
	<final>true</final>
</property>
    
<!-- 指定hadoop執行時產生檔案的臨時儲存目錄,可選 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
  • hdfs-site.xml
<!-- 指定HDFS副本的數量 預設是3-->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
    
<!-- 指定HDFS的檔案儲存目錄-->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/hadoop/hdfs/data</value>
</property>
  • mapred-site.xml
<!-- 指定mr執行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
  • yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>fp-bd6</value>
</property>
    
<!-- 需配置成mapreduce_shuffle,才可執行MapReduce程式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle,spark_shuffle,spark2_shuffle</value>
</property>