Hadoop叢集中需要更改的配置檔案
阿新 • • 發佈:2018-12-16
一、core-site.xml
<configuration> <!-- 指定HDFS 中 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <!-- 指定 hadoop 執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/install/hadoop-2.5.0-cdh5.3.6/data/tmp</value> </property> </configuration>
export JAVA_HOME=/home/hadoop/install/jdk1.8.0_152/
三、hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop03:50090</value> </property> </configuration>
四、slaves
hadoop01
hadoop02
hadoop03
export JAVA_HOME=/home/hadoop/install/jdk1.8.0_152/
六、yarn-site.xml
<configuration> <!-- reducer 獲取資料的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 YARN 的 ResourceManager 的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop03</value> </property> </configuration>
export JAVA_HOME=/home/hadoop/install/jdk1.8.0_152/
八、mapred-site.xml(此檔案原來是mapred-site.xml)
應該先修改檔名:
mv mapred-site.xml.template mv mapred-site.xml
<configuration>
<!-- 指定 mr 執行在 yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>