1. 程式人生 > >Linux-Hadoop安裝

Linux-Hadoop安裝

center borde 獨立 解壓 rop $path host margin mar

安裝環境:

  • CentOS7_x86_64
  • JDK8
  • Hadoop-2.9.0

安裝步驟:

1.安裝配置JDK。

2.下載Hadoop-2.9.0。

3.解壓Hadoop

tar zvxf hadoop-2.9.0.tar.gz

4.將Hadoop的bin目錄和sbin目錄添加到PATH中。

1 #編輯配置文件
2 vim /etc/profile
3 #配置環境變量
4 HADOOP_HOME=/usr/local/hadoop-2.9.0
5 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6 export PATH
7 #使指定文件中的配置生效
8 source /etc/profile

配置步驟:

1.配置hadoop-env.sh文件中的JAVA_HOME,使用絕對路徑進行配置。

2.配置各個文件。

core-site.xml:用於配置通用屬性。

hdfs-site.xml:用於配置HDFS屬性。

mapred-site.xml:用於配置MapReduce屬性。

yarn-site.xml:用於配置YARN屬性。

關鍵配置項:

組件名稱 屬性名稱 獨立模式 偽分布模式 全分布模式
Common fs.default.name file:/// hdfs://localhost/ hdfs://namenode/
HDFS dfs.replication N/A 1 3
MapReduce 1 mapred.job.tracker local localhost:8021 jobtracker:8021
YARN(MapReduce 2) yarn.resource.manager.address N/A localhost:8032 resoucemanager:8032
 1 <!-- core-site.xml -->
 2 <configuration>
 3     <property>
 4         <name>fs.default.name</name>
 5         <value>
hdfs://localhost/</value> 6 </property> 7 </configuration> 8 9 <!-- hdfs-site.xml --> 10 <configuration> 11 <property> 12 <name>dfs.replication</name> 13 <value>1</value> 14 </property> 15 </configuration> 16 17 <!-- mapred-site.xml --> 18 <configuration> 19 <property> 20 <name>mapred.job.tracker</name> 21 <value>localhost:8021</value> 22 </property> 23 </configuration> 24 25 <!-- yarn-site.xml --> 26 <configuration> 27 <property> 28 <name>yarn.resourcemanager.address</name> 29 <value>localhost:8032</value> 30 </property> 31 <property> 32 <name>yarn.nodemanager.aux-services</name> 33 <value>mapreduce.shuffle</value> 34 </property> 35 </configuration>

格式化:

1 #格式化文件系統
2 hadoop namenode -format

啟動步驟:

1.Map Reduce1

 1 #啟動hdfs
 2 start-dfs.sh --config path-to-config-directory
 3 #啟動mapredude
 4 start-mapred.sh --config path-to-config-directory
 5 
 6 
 7 #關閉hdfs
 8 stop-dfs.sh
 9 #關閉mapreduce
10 stop-mapred.sh

2.Map Reduce2

 1 #啟動hdfs
 2 start-dfs.sh --config path-to-config-directory
 3 #啟動yarn
 4 start-yarn.sh --config path-to-config-directory
 5 
 6 
 7 #關閉hdfs
 8 stop-dfs.sh
 9 #關閉yarn
10 stop-yarn.sh

Linux-Hadoop安裝