Hadoop環境搭建(為分布式)
安裝前準備(centos):
1)設置普通用戶以及設置sudo權限-----------
-----useadd hadoop
-----passwd hadoop
--[root]--visudo
2)關閉防火墻
---- service iptables stop
3)設置主機名稱
----hostaname hadoop01
----(永久化)--vi /etc/sysconfig/network [修改HOSTNAME=Hadoop01]
4)IP與主機名稱進行綁定
---------vi /host
添加一行 IP地址 hadoop01
安裝JDK環境(JDK1.8)
1.安裝文件上傳到Linux下
2.對其解壓 tar -zvxf 文件名 -C/解壓到此路徑下
3.配置環境變量
--- vi /etc/profile
最後一行開始添加
#JAVA_HOME
export JAVA_HOME=/opt/app/jdk---[jdk所在路徑】---
export PATH=$JAVA_HOME/bin:$PATH
-----source /etc/profile (讓其生效)
---Java -version 驗證一下
安裝hadoop
1.下載Hadoop安裝包
2.進到安裝包所在路徑解壓 tar -zvxf hadoop-2.7.2.tar.gz -C /路徑
3.配置文件
修改權限sudo -chown -R hadoop:hadoop /opt/hadoop-2.7.2/
文件 etc/hadoop/hadoop-env.sh
修改:export JAVA_HOME=/opt/app/jdk-1.8(路徑)
文件:etc/hadoop/core-site.xml:
<property>
<name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property>
文件:etc/hadoop/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
格式化 bin/hadoop namenode -format
namenode 啟動
sbin/hadoop-daemon.sh start namenode
用jps 命令查看是否啟動成功
datanode啟動
sbin/hadoop-daemon.sh start node
配置yarn
文件 修改etc/hadoop/mapred-site.xml.template為:etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
文件:etc/hadoop/yarn-site.xml:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
啟動resourcemanager
sbin/yarn-deamon.sh start resourcemanager
啟動nodemanager
sbin/yarn-deamon.sh start nodemanager
Hadoop環境搭建(為分布式)