Hadoop2.6.0在CentOS 7中的叢集搭建
我這邊給出我的叢集環境是由一臺主節點master和三臺從節點slave組成：
master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
slave3 192.168.1.5
申明：我搭建的這個叢集不是在普通使用者，所以一下操作都是在超級使用者root上。
一、虛擬機器的安裝
a) 我們從centos官網下載CentOS7（下載DVD IOS映象就行了）
b) 在VMware Workstation 11上安裝四臺虛擬機器，這裡的具體的安裝步驟，我就不再贅述。
二、虛擬機器前期配置
a) 裝好四臺虛擬機器後，我們設定虛擬機器為靜態IP，並修改一下虛擬機器的主機名和IP地址，還需要增加IP與主機對映：
1） 修改主機名（分別在四臺虛擬機器修改為：master、slave1、slave2和slave3）：
vi /etc/hostname
2） 修改IP地址並設定為靜態IP：
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736（虛擬機器的網絡卡一般預設都是ifcfg-eno16777736）
增加以下內容：
BOOTPROTO=static #設定為靜態IP
ONBOOT=yes #開啟網絡卡
IPADDR=192.168.1.2 #設定IP，對應上面給出的四個IP地址，這裡是master的IP
NETMASK=255.255.255.0 #設定子網掩碼
GATEWAY=192.168.1.1 #設定閘道器
DNS1=8.8.8.8 #設定DNS，這裡是Google的兩個域名解析
DNS2=8.8.4.4
3） 增加IP與主機對映：
vi /etc/hosts
增加以下內容：
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
192.168.1.5 slave3
4）在完成以上步驟後reboot重啟四臺虛擬機器：
reboot
三、ssh免密碼登入
a) 在每臺虛擬機器的根目錄root下，建立ssh公鑰：
1） ssh-keygen –t rsa #連續回車，系統自動生成圖形公鑰
2） 在master中，進入.ssh目錄，並將公鑰寫到authorized_keys：
cd .ssh/
ssh master cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼
ssh slave1 cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼
ssh slave2 cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼
ssh slave3 cat id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼
3） 更改authorized_keys屬性，使之不能被修改：
chmod 600 authorized_keys
4） 在master的.ssh目錄下，將生成的known_hosts和authorized_keys複製到各個從節點：
scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼
scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼
scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼
scp known_hosts [email protected]:/root/
scp known_hosts [email protected]:/root/
scp known_hosts [email protected]:/root/
5) 驗證ssh的免密碼登入：
在master中輸入：ssh slave1、ssh slave2和ssh slave3是否需要密碼，如果不需要，則ssh免密碼配置成功。
四、jdk安裝
五、scala安裝
六、Hadoop2.6的解壓安裝
b) 在master節點中，解壓Hadoop壓縮包到/root/app/中：
tar –xzvf hadoop-2.6.0-cdh5.4.0.tar.gz
七、叢集環境Hadoop的配置
在master中，進入到Hadoop的配置目錄：
cd hadoop-2.6.0-cdh5.4.0 /etc/hadoop
a) slaves的配置：
vi slaves
刪除localhost，增加三個從節點：
slave1
slave2
slave3
b) core-site.xml的配置：
在此之前，需要在Hadoop目錄下建立data/tmp：
mkdir data
cd data
mrdir tmp
mkdir dfs
cd dfs
mkdir data
mkdir name
在hadoop-2.6.0-cdh5.4.0 /etc/hadoop下：
vi core-site.xml
在core-site.xml中增加：
<property>
<name>hadoop.tmp.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
c) hdfs-site.xml的配置：
vi hdfs-site.xml
在hdfs-site.xml增加：
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/data</value>
</property>
d) mapred-site.xml的配置：
vi mapred-site.xml
在mapred-site.xml增加：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
e) yarn-site.xml的配置：
vi yarn-site.xml
在yarn-site.xml增加：
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
f) 在hadoop-env.sh檔案的最後加：
export JAVA_HOME=/usr/local/jdk（Java安裝環境）
g) 配置好master中的Hadoop後，將Hadoop複製到各個節點對應位置上：
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave1:/root/app/
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave2:/root/app/
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave3:/root/app/
八、啟動hadoop
a）在主節點master的hadoop的目錄下：
bin/hdfs namenode –format
sbin/start-dfs.sh
sbin/start-yarn.sh
然後在主節點master輸入jps可以檢視到NameNode、SecondaryNameNode、Jps和ResourceManager四個程序。
在從節點slave輸入jps可以檢視到Jps、NodeManager和DataNode三個程序。
b) 出現以上程序提示，恭喜你，你的hadoop的環境搭建完成！