環境：

centos 6.5  (ip：192.168.80.100、192.168.80.101)

jdk 1.7

hadoop 2.8.4

建立hadoop使用者(2個節點均要建立)：

$ su -

# useradd -m hadoop

# passwd hadoop

#visudo

為hadoop新增hadoop許可權，在root ALL=(ALL)ALL下新增一行：

root    ALL=(ALL)       ALL

hadoop ALL=(ALL) ALL

切換回hadoop：

su hadoop

設定hosts，避免直接使用ip(兩個節點均要設定)：

在/etc/hosts修改如下：

127.0.0.1   master master

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.80.100　　master master

192.168.80.101　　slave1

為了方便，將三個節點分別設定如下hostname（重啟會失效）：

sudo hostname master

sudo hostname slave1

ssh免密登入設定(以下操作在master集器進行)：

然後在master節點使用以下測試是否成功：

$ ssh 192.168.80.101

安裝JDK：

安裝hadoop：

先配置master 192.168.80.100，然後scp拷貝到slave。

hadoop 的master節點配置：

需要配置六個檔案(目錄均在hadoop/etc/hadoop下)：

core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop-env.sh

1 配置core-site.xml

<configuration>

　　<property>

　　　　<name>fs.default.name</name>

　　　　<value>hdfs://192.168.80.100:9000</value>

　　</property>

　　<property>

　　　　<name>hadoop.tmp.dir</name>

　　　　<value>file:/home/hadoop/hadoop/tmp</value>

　　</property>

</configuration>

2 配置hdfs-site.xml

<configuration>

　　<property>

　　　　<name>dfs.replication</name>

　　　　<value>2</value>

　　</property>

　　<property>

　　　　<name>dfs.namenode.name.dir</name>

　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

　　</property>

　　<property>

　　　　<name>dfs.datanode.data.dir</name>

　　　　<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

　　</property>

　　<property>

　　　　<name>dfs.namenode.secondary.http-address</name>

　　　　<value>192.168.80.100:9001</value>

　　</property>

       <property>

            <name>dfs.namenode.datanode.registration.ip-hostname-check</name>

            <value>false</value>

      </property>

</configuration>

3 配置mapred-site.xml

 $ mv mapred-site.xml.template mapred-site.xml

<configuration>

　　<property>

　　　　<name>mapreduce.framework.name</name>

　　　　<value>yarn</value>

　　</property>

</configuration>

4 配置yarn-site.xml

<configuration>

    <property>

　　　　<name>yarn.resourcemanager.hostname</name>

　　　　<value>192.168.80.100</value>

　　</property>

　　<property>

　　　　<name>yarn.nodemanager.aux-services</name>

　　　　<value>mapreduce_shuffle</value>

　　</property>

　　<property>

　　　　<name>yarn.log-aggregation-enable</name>

　　　　<value>true</value>

　　</property>

　　<property>

　　　　<name>yarn.log-aggregation.retain-seconds</name>

　　　　<value>604800</value>

　　</property>

</configuration>

5 配置slaves

192.168.80.101

注：如果是多個，則新增多行ip。

6 配置hadoop-env.sh，修改java_home為對應地址

export JAVA_HOME=/usr/lib/java/jdk1.7.0_40

其他子節點slave配置：

此步依舊是在master節點操作

$ scp -r ~/hadoop [email protected]:~/

配置當前使用者hadoop環境變數(每個節點都要配置)：

$ vim ~/.bashrc

$ source ~/.bashrc

$ echo $HADOOP_HOME   //輸出看看是否生效

啟動hadoop：

$ hdfs namenode -format       //格式化hdfs

$ hadoop/sbin/start-all.sh

在master節點輸入jps

在slave1節點輸入jps

然後輸入http://192.168.80.100:50070/dfshealth.html#tab-overview：

注：如果遇到測試失敗可刪掉hadoop/tmp/dfs，然後重新格式化hdfs後再啟動試試。

參考文件：