最近需要搭一個HBase環境，所以第一步就是要搭建Hadoop了。搭建過程主要參考了張良均、樊哲、位文超、劉名軍等人著作的《Hadoop大資料探勘》（機械工業出版社），部分環節參考了網上查閱的資料，現在也找不到出處了，十分抱歉。

Hadoop2.6.5叢集搭建

搭建環境：Ubuntu 16.04

我使用Virtualbox建了四個虛擬機器，每個虛擬機器開了兩個網絡卡，一個用來四個虛擬機器內部連線，一個用來連外網裝軟體的。下面兩條是我在搭建過程中碰到的兩個小問題，大家可以忽略不看。

• 修改virtualbox虛擬機器硬碟儲存空間 D:\Program Files\Oracle\VirtualBox>VBoxManage.exe modifyhdF:\virtualbox\ubuntu_slave3\ubuntu_slave3.vdi --resize 15360
• 無法訪問共享資料夾，許可權不夠   sudo adduser boarmy vboxsf 增加使用者到vboxsf使用者組即可

1、 配置固定IP

修改hosts檔案，使用root使用者 vim /etc/hosts，增加以下四條。原檔案中有一條127.0.1.1指向本機的記錄，引起了我後續安裝Zookeeper的失敗，儘量註釋掉吧。

a)     192.168.1.10    master.ubuntu.com       master

b)     192.168.1.11    slave1.ubuntu.com       slave1

c)     192.168.1.12    slave2.ubuntu.com       slave2

d)     192.168.1.13    slave3.ubuntu.com       slave3

2、 配置Java環境

b)     tar -zxvf jdk-8u151-linux-x64.tar.gz解壓包，並放在 /usr/local/ 下

c)     修改 /etc/profile檔案，在下方新增：

# setJava enviroment

JAVA_HOME=/usr/local/jdk1.8.0_151

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportJAVA_HOME

exportPATH

export CLASSPATH

3、 新增使用者

a)     sudo adduser hadoop

b)     給hadoop新增sudo許可權，修改/etc/sudoers為，

# Userprivilege specification

root    ALL=(ALL:ALL) ALL

hadoop  ALL=(ALL:ALL) ALL   （新增一行）

4、 配置SSH免密登陸

a)     切換到hadoop使用者，su – Hadoop

b)     生成公鑰和私鑰，ssh-keygen -t rsa ，打接著按3次Enter鍵

c)     匯入公鑰到認證檔案，

                i.         ssh-copy-id -i  ~/.ssh/id_rsa.pub master

               ii.         ssh-copy-id -i  ~/.ssh/id_rsa.pub slave1

              iii.         ssh-copy-id -i  ~/.ssh/id_rsa.pub slave2

              iv.         ssh-copy-id -i  ~/.ssh/id_rsa.pub slave3

d)     如果沒有安裝ssh_server端，使用命令sudo apt-get install openssh-server 進行安裝。

e)     可以先將所有節點的公鑰放在一臺機子裡，然後將公鑰檔案複製到其他節點上。

                i.         在master節點上 ssh-copy-id -i ~/.ssh/id_rsa.pub master

               ii.         在slave1節點上 ssh-copy-id -i ~/.ssh/id_rsa.pub master

              iii.         在slave2節點上 ssh-copy-id -i ~/.ssh/id_rsa.pub master

              iv.         在slave3節點上 ssh-copy-id -i ~/.ssh/id_rsa.pub master

               v.         將master機上的/home/hadoop/.ssh/ authorized_keys檔案複製到其他所有節點上:

scp.ssh/authorized_keys [email protected]:/home/hadoop/.ssh/authorized_keys

5、 配置NTP

a)     配置NTP進行叢集間的時間同步，sudo apt-get install ntp

b)     修改配置檔案/etc/ntp.conf

                i.         主節點

#註釋掉server開頭的行，並新增

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap

       Server127.127.1.0

       Fudge127.127.1.0 startum 10

               ii.         從節點

#註釋掉server開頭的行，並新增

server master

       起動ntp服務 service start ntp

6、 配置hadoop

a)     /etc/profile裡新增$HADOOP_HOME環境變數

# set HADOOP_HOME enviroment

HADOOP_HOME=/usr/local/hadoop-2.6.5

PATH=$JAVA_HOME/bin:$HADOOP_HOME:$PATH

export HADOOP_HOME

export PATH

# hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

b)     涉及到7個配置檔案

i.    $HADOOP_HOME/etc/hadoop/hadoop-env.sh
ii.    $HADOOP_HOME/etc/hadoop/yarn-env.sh
iii.    $HADOOP_HOME/etc/hadoop/slaves
iv.    $HADOOP_HOME/etc/hadoop/core-site.xml
v.    $HADOOP_HOME/etc/hadoop/hdfs-site.xml
vi.    $HADOOP_HOME/etc/hadoop/mapred-site.xml
vii.    $HADOOP_HOME/etc/hadoop/yarn-site.xml

c)    配置檔案1：hadoop-env.sh

# The java implementation to use.

#export JAVA_HOME=${JAVA_HOME}

exportJAVA_HOME=/usr/local/jdk1.8.0_151

d)     配置檔案1：yarn-env.sh

# some Java parameters

# exportJAVA_HOME=/home/y/libexec/jdk1.6.0/

export JAVA_HOME=/usr/local/jdk1.8.0_151

e)     配置檔案1：slaves

slave1

slave2

slave3

f)      配置檔案1：core-site.xml

<property>

              <name>fs.defaultFS</name>

              <value>hdfs://master:8020</value>

       </property>

       <property>

              <name>hadoop.tmp.dir</name>

              <value>/hadoop/tmp</value>

       </property>

g)     配置檔案1：hdfs-site.xml

<property>

              <name>dfs.namenode.name.dir</name>

              <value>file:///hadoop/hdfs/name</value>

       </property>

       <property>

              <name>dfs.datanode.data.dir</name>

              <value>file:///hadoop/hdfs/data</value>

       </property>

       <property>

              <name>dfs.namenode.secondary.http-address</name>

              <value>master:50090</value>

       </property>

       <property>

              <name>dfs.replication</name>

              <value>3</value>

       </property>

h)     配置檔案1：mapred-site.xml

<property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

       </property>

       <!-- jobhistory properties -->

       <property>

              <name>mapreduce.jobhistory.address</name>

              <value>master:10020</value>

       </property>

       <property>

              <name>mapreduce.jobhistory.webapp.address</name>

              <value>master:19888</value>

       </property>

i)      配置檔案1：yarn-site.xml

<property>

              <name>yarn.resourcemanager.hostname</name>

              <value>master</value>

       </property>

       <property>

              <name>yarn.resourcemanager.address</name>

              <value>${yarn.resourcemanager.hostname}:8032</value>

       </property>

       <property>

              <name>yarn.resourcemanager.scheduler.address</name>

              <value>${yarn.resourcemanager.hostname}:8030</value>

       </property>

       <property>

              <name>yarn.resourcemanager.webapp.address</name>

              <value>${yarn.resourcemanager.hostname}:8088</value>

       </property>

       <property>

              <name>yarn.resourcemanager.webapp.https.address</name>

              <value>${yarn.resourcemanager.hostname}:8090</value>

       </property>

       <property>

              <name>yarn.resourcemanager.resource-tracker.address</name>

              <value>${yarn.resourcemanager.hostname}:8031</value>

       </property>

       <property>

              <name>yarn.resourcemanager.admin.address</name>

              <value>${yarn.resourcemanager.hostname}:8033</value>

       </property>

       <property>

              <name>yarn.nodemanager.local-dir</name>

              <value>/hadoop/yarn/local</value>

       </property>

       <property>

              <name>yarn.log-aggregation-enable</name>

              <value>true</value>

       </property>

       <property>

              <name>yarn.nodemanager.remote-app-log-dir</name>

              <value>/hadoop/tmp/logs</value>

       </property>

       <property>

              <name>yarn.log.server.url</name>

              <value>http://master:19888/jobhistory/logs</value>

              <description>URL for job historyserver</description>

       </property>

       <property>

              <name>yarn.nodemanager.vmem-check-enabled</name>

              <value>false</value>

       </property>

       <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

       </property>

       <property>

              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

              <value>org.apache.hadoop.mapred.ShuffleHandler</value>

              </property>

7、 啟動hadoop

a)     cd $HADOOP_HOME/sbin

c)     bash mr-jobhistory-daemon.shstart historyserver 開啟不知道什麼服務，不然19888埠不能用

8、 Hadoop叢集監控相關埠