Hadoop2.X叢集安裝配置

Hadoop2.x叢集安裝分為五步：

-修改主機名及配置靜態IP

-新增Hadoop使用者組及使用者，並賦予root許可權

-安裝jdk

-配置SSH免密匙登陸

-安裝Hadoop

修改主機名及配置靜態IP

本文以四臺伺服器組成的叢集為例，其主機名與IP為：

修改主機名：

#vi /etc/hosts 

新增如下一行到檔案末尾

192.168.10.100 master
192.168.10.101 slave1
192.168.10.102 slave2
192.168.10.103 slave3

下面兩行不要修改

127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
 

配置靜態IP：

檢視IP地址永久修改IP地址

# ifconfig 
#vi /etc/sysconfig/network-scripts/ifcfg-eth0
EVICE="eth0"
BOOTPROTO="static"
BROADCAST="192.168.10.255"
DNS1="192.168.10.1"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="cb8231c3-f87c-476b-89c4-aab6eadeeb05"
IPADDR="192.168.10.100"
PREFIX=24
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
GATEWAY="192.168.10.1"
HWADDR=00:0C:29:DD:42:78
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
LAST_CONNECT=1454216929
NETMASK="255.255.255.0"
 

新增hadoop使用者組及使用者並賦予root許可權

新增hadoop使用者組

#groupadd hadoop

新建hadoop使用者同時將使用者加入hadoop 使用者組

# useradd -g hadoop hadoop 

為hadoop使用者設定密碼

# passwd hadoop 

為Hadoop使用者賦予root許可權

#vi /etc/sudoers

在root  ALL=(ALL:ALL) ALL 下新增

hadoop ALL=(ALL:ALL) ALL 

安裝jdk

檢視系統自帶的JDK

java -version

檢視JDK相關的包

rpm -qa | grep java  
 

 解除安裝JDK相關的包下載jdk包

yum -y remove java java包名稱 

將jdk分別解壓到/home/hadoop/目錄下，配置環境變數：

$sudo vi /etc/profile
export JAVA_HOME=/home/hadoop/jdk1.7.0_45
export PATH=$$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

使profile配置檔案生效

#source /etc/profile

檢視java版本資訊

$Java -version

配置SSH免密匙登入 

在master操作 

進入.ssh資料夾 

$cd ~/.ssh  

生成公匙和私匙，一路回車即可

ssh-keygen -t rsa  

cp id_dsa.pub authorized_keys

新增master的authorized_key到slave1、slave2和slave3到本地

[email protected]: scp ~/.ssh/id_rsa.pub [email protected]:~/.ssh
[email protected]: scp ~/.ssh/id_rsa.pub [email protected]:~/.ssh
[email protected]: scp ~/.ssh/id_rsa.pub [email protected]:~/.ssh

在slave1、slave2、slave3分別操作

cat id_rsa.pub authorized_keys

在master和slave分別修改

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

安裝Hadoop
在root使用者下執行：將安裝包拷貝到 /home/hadoop目錄下
解壓安裝包

#tar –zxvf hadoop-2.x.x.tar.gz  

給予hadoop使用者hadoop-2.x.x資料夾許可權

#chown –R hadoop:hadoop /home/hadoop/hadoop-2.x.x

 修改系統配置

#vi /etc/profile 

加入

export HADOOP_HOME=/home/hadoop/hadoop-2.x.x
export PATH=$PATH:$HADOOP_HOME/bin
#source /etc/profile 
#su hadoop
$cd /home/hadoop/hadoop-2.x.x

建立相關資料夾

$mkdir –p dfs/name
$mkdir –p dfs/data
$mkdir –p tmp

$cd /home/hadoop/hadoop-2.x.x /etc/hadoop 進入配置檔案所在資料夾

$vi slaves

新增：

slave1
slave2
slave3

儲存並退出

$vi hadoop-env.sh

新增：

export JAVA_HOME=/home/hadoop/jdk1.7.0_45

儲存並退出 

$vi yarn-env.sh
exportJAVA_HOME=/home/hadoop/jdk1.7.0_45

儲存並退出

$vi /etc/hadoop/core-site.xml
<configuration>
<property> 
       <name>fs.defaultFS</name> 
        <value>hdfs://master:9000</value> 
    </property> 
    <property> 
       <name>hadoop.tmp.dir</name>      
       <value>/home/hadoop/hadoop-2.5.1/tmp</value> 
 </property></configuration>

儲存並退出

$vi /etc/hadoop/hdfs-site.xml

<configuration>  

<property>  
        <name>dfs.namenode.name.dir</name>  
        <value>file:/home/hadoop/hadoop-2.x.x/dfs/name</value>  
    </property>  

<property>  
        <name>dfs.datanode.data.dir</name>  
        <value>file:/home/hadoop/hadoop-2.x.x/dfs/data</value>  
    </property>  

<property>  
        <name>dfs.replication</name>  
        <value>3</value>  
    </property> 
 
<property>  
        <name>dfs.namenode.secondary.http-address</name>  
        <value>master:9001</value>  
    </property>   

    <property>  
        <name>dfs.permissions</name>  
        <value>false</value>  
    </property>  

 儲存並退出

$cd /opt/hadoop-2.x.x
$cp /etc/hadoop/mapred-site.xml.template /etc/hadoop/mapred-site.xml
$vi /etc/hadoop/mapred-site.xml

<configuration>  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>
</configuration>  

儲存並退出

$vi /etc/hadoop/yarn-site.xml

<configuration>  
  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  

<property>  
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
    </property>

    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>master:8032</value>  
    </property>  

    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>master:8030</value>  
    </property>  

    <property>  
       <name>yarn.resourcemanager.resource-tracker.address</name>  
       <value>master:8031</value>  
    </property>  

    <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>master:8033</value>  
    </property> 
 
    <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>master:8088</value>  
    </property>  
</configuration>  

儲存並退出

將hadoop-2.x.x資料夾複製到slave1、slave2、slave3

#scp -r /home/hadoop/hadoop-2.x.x [email protected]:/home/hadoop
#scp -r /home/hadoop/hadoop-2.x.x [email protected]:/home/hadoop

#scp -r /home/hadoop/hadoop-2.x.x [email protected]:/home/hadoop

格式化namenode

$cd /home/hadoop/hadoop-2.x.x
$hdfs namenode –format

啟動Hadoop

./sbin/start-dfs.sh
./sbin/start-yarn.sh