Hadoop2.x主要配置
阿新 • • 發佈:2018-12-20
-
hadoop-env.sh
配置JAVA環境變數
export JAVA_HOME=/usr/java/jdk1.8.0_65
-
core-site.xml
配置fs.defaultFS
和hadoop.tmp.dir
屬性
<!-- 配置fs.defaultFS屬性。hadoop所使用的檔案系統 --> <property> <name>fs.defaultFS</name> <value>hdfs://fp-bd6:8020</value> <final>true</final> </property> <!-- 指定hadoop執行時產生檔案的臨時儲存目錄,可選 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.4.1/tmp</value> </property>
- hdfs-site.xml
<!-- 指定HDFS副本的數量 預設是3--> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- 指定HDFS的檔案儲存目錄--> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/hdfs/data</value> </property>
- mapred-site.xml
<!-- 指定mr執行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>fp-bd6</value> </property> <!-- 需配置成mapreduce_shuffle,才可執行MapReduce程式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle,spark_shuffle,spark2_shuffle</value> </property>