環境準備

準備一個Centos6.9主機環境，用於克隆其他主機節點

網路配置

1 修改 網絡卡ip地址

vi /etc/sysconfig/network-script/ifcfg-eth0

其中 ipaddr 中 C類ip欄位 跟VMnet8網絡卡有關

2 從新啟動網路服務

service network restart

3 查詢網絡卡,確定網絡卡配置正確

ifconfig

4 關閉防火牆

service iptables stop(臨時關閉)
chkconfig iptables off (關閉開啟自啟)

5 關閉SELinux 安全套件

vi /etc/selinux/config

6 關閉主機，新增虛擬物理雙網絡卡


虛擬化網路設定，將主機內部ip橋接到外部能正常網路通訊的網絡卡ip

7 為Linux雙網絡卡進行設定

 cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1
 vi /etc/sysconfig/network-scripts/ifcfg-eth1 

service network restart 重啟網絡卡服務
ifconfig  查詢網絡卡  
ping www.baidu.com
 
 測試能否ping通

8 設定主機名

vi /etc/sysconfig/network
reboot 重啟主機生效

9 設定域名解析
window下識別主機

C:\Windows\System32\drivers\etc\hosts

linux 下識別主機

vi /etc/hosts

分別在linux中，window中，ping 主機名，測試是否配置正確

JDK安裝

安裝rz ftp快速上傳工具

yum -y instll lrzsz
rz //使用時命令

1 上傳 jdk rpm 包
2 安裝jdk

rpm -ivh jdk-7u71-linux
 
-x64.rpm

3 配置環境變數

vi  .bash_profile | vi  /etc/profile  | vi  .bashrc

 source .bash_profile //更新環境
 java -version //查詢java版本，確定是否安裝成功

叢集搭建

為了不破壞主機環境，以備後續使用，因此需要克隆新的主機進行叢集搭建

1 從環境主機克隆新機器

2 為新機器配置網絡卡

rm –rf /etc/udev/rules.d/70-persistence-net.rules 刪除原主機的mac地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改主機ip
reboot 重啟機器
ifconfig 查詢網絡卡是否正確

3 修改叢集中所有主機的主機名和DNS對應關係
一般我們都是修改一個主機 然後使用scp命令，進行遠端服務間拷貝

scp /etc/hosts root@192.168.146.11:/etc

Hadoop安裝

1 準備環境
參照上面

3 上傳，解壓 hadoop

//選擇hadoop上傳
rz 
//解壓檔案到指定目錄
tar -zxvf hadoop-2.5.2.tar.gz -C /opt/install/ 

4 修改配置
a) etc/hadoop/hadoop-env.sh

//JAVA_HOME改為自己JDK安裝的目錄
export JAVA_HOME=/usr/java/jdk1.7.0_71 

b) etc/hadoop/core-site.xml

<property>      
    <name>fs.default.name</name>
     <value>hdfs://hadoop1:8020</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/install/hadoop-2.5.2/data/tmp</value>
</property>

c) etc/hadoop/hdfs-site.xml

//儲存資料塊副本的個數
<property>      
       <name>dfs.replication</name>
       <value>1</value>
</property>

d) etc/hadoop/yarn-site.xml

<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
</property>

e) etc/hadoop/mapred-site.xml.template

//改名
mv mapred-site.xml.template mapred-site.xml

開啟更名後的檔案配置

<property>                      
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>

5 啟動HDFS 還有Yarn

//格式化namenode 只執行一次（直接粘可能有問題）
bin/hdfs namenode –format  
//啟動namenode
sbin/hadoop-daemon.sh start namenode 
//啟動datanode
sbin/hadoop-daemon.sh start datanode 
sbin/yarn-daemon.sh  start  resourcemanager 
sbin/yarn-daemon.sh  start  nodemanager 

jps 查詢相關程序 確定是否啟動成功

6 訪問測試

7 定義指令碼
為了下次啟動方便，我們可以定義快速啟動關閉指令碼

啟動指令碼

hadoop-start.sh
sbin/hadoop-daemon.sh start namenode 
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh  start  resourcemanager 
sbin/yarn-daemon.sh  start  nodemanager

關閉指令碼

hadoop-stop.sh
sbin/hadoop-daemon.sh stop namenode 
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh  stop  resourcemanager 
sbin/yarn-daemon.sh  stop  nodemanager

注意: 新建立的指令碼沒有可執行許可權, chmod 744 修改