1. 程式人生 > >hadoop2.x安裝檔案配置

hadoop2.x安裝檔案配置

目錄
配置hadoop-env.sh
配置yarn-env.sh
配置core-site.xml
配置hdfs-site.xml
配置mapred-site.xml
配置yarn-site.xml
配置slaves檔案

配置hadoop-env.sh

開啟配置檔案hadoop-env.sh

cd etc/hadoop
vi hadoop-env.sh

加入配置內容,設定了hadoop中jdk和hadoop/bin路徑

export JAVA_HOME=/usr/lib/java/jdk1.7.0_55
export PATH=$PATH:/usr/local/hadoop-2.2.0/bin

編譯配置檔案hadoop-env.sh,並確認生效

source hadoop-env.sh
hadoop version

配置yarn-env.sh

在/usr/local/hadoop-2.2.0/etc/hadoop開啟配置檔案yarn-env.sh

cd /usr/local/hadoop-2.2.0/etc/hadoop
vi yarn-env.sh

加入配置內容,設定了hadoop中jdk和hadoop/bin路徑

export JAVA_HOME=/usr/lib/java/jdk1.7.0_55

編譯配置檔案yarn-env.sh,並確認生效

source yarn-env.sh

配置core-site.xml

使用如下命令開啟core-site.xml配置檔案

vi core-site.xml

在配置檔案中,按照如下內容進行配置

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop1:9000</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value
>
</property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop-2.2.0/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>hadoop.proxyuser.hduser.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hduser.groups</name> <value>*</value> </property> </configuration>

配置hdfs-site.xml

使用如下命令開啟hdfs-site.xml配置檔案

sudo vi hdfs-site.xml

在配置檔案中,按照如下內容進行配置

<configuration>
  <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop1:9001</value>
  </property>
  <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop-2.2.0/name</value>
  </property>
  <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop-2.2.0/data</value>
  </property>
  <property>
   <name>dfs.replication</name>
   <value>2</value>
  </property>
  <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
  </property>
</configuration>

配置mapred-site.xml

預設情況下不存在mapred-site.xml檔案,可以從模板拷貝一份

cp mapred-site.xml.template mapred-site.xml

使用如下命令開啟mapred-site.xml配置檔案

vi mapred-site.xml

在配置檔案中,按照如下內容進行配置

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
  </property>
</configuration>

配置yarn-site.xml
使用如下命令開啟yarn-site.xml配置檔案

vi yarn-site.xml

在配置檔案中,按照如下內容進行配置

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop1:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop1:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop1:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop1:8088</value>
  </property>
</configuration>

配置slaves檔案

設定從節點

vi slaves
hadoop2
haddop3