1. 程式人生 > >Hadoop環境搭建(為分布式)

Hadoop環境搭建(為分布式)

分布 site 永久 red 成功 manage 綁定 daemon replicat

安裝前準備(centos):

1)設置普通用戶以及設置sudo權限-----------

-----useadd hadoop

-----passwd hadoop

--[root]--visudo

2)關閉防火墻

---- service iptables stop

3)設置主機名稱

----hostaname hadoop01

----(永久化)--vi /etc/sysconfig/network [修改HOSTNAME=Hadoop01]

4)IP與主機名稱進行綁定

---------vi /host

添加一行 IP地址 hadoop01

安裝JDK環境(JDK1.8)

1.安裝文件上傳到Linux下

2.對其解壓 tar -zvxf 文件名 -C/解壓到此路徑下

3.配置環境變量

--- vi /etc/profile

最後一行開始添加

#JAVA_HOME

export JAVA_HOME=/opt/app/jdk---[jdk所在路徑】---

export PATH=$JAVA_HOME/bin:$PATH

-----source /etc/profile (讓其生效)

---Java -version 驗證一下

安裝hadoop

1.下載Hadoop安裝包

2.進到安裝包所在路徑解壓 tar -zvxf hadoop-2.7.2.tar.gz -C /路徑

3.配置文件

修改權限sudo -chown -R hadoop:hadoop /opt/hadoop-2.7.2/

文件 etc/hadoop/hadoop-env.sh

修改:export JAVA_HOME=/opt/app/jdk-1.8(路徑)

文件:etc/hadoop/core-site.xml:

  <property>

        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:8020</value>
    </property>

文件:etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化 bin/hadoop namenode -format


namenode 啟動

sbin/hadoop-daemon.sh start namenode
用jps 命令查看是否啟動成功
datanode啟動
sbin/hadoop-daemon.sh start node


配置yarn
文件 修改etc/hadoop/mapred-site.xml.template為:etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


文件:etc/hadoop/yarn-site.xml:
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

啟動resourcemanager
sbin/yarn-deamon.sh start resourcemanager
啟動nodemanager
sbin/yarn-deamon.sh start nodemanager

Hadoop環境搭建(為分布式)