Linux-Hadoop安裝
阿新 • • 發佈:2017-11-27
center borde 獨立 解壓 rop $path host margin mar
安裝環境:
- CentOS7_x86_64
- JDK8
- Hadoop-2.9.0
安裝步驟:
1.安裝配置JDK。
2.下載Hadoop-2.9.0。
3.解壓Hadoop
tar zvxf hadoop-2.9.0.tar.gz
4.將Hadoop的bin目錄和sbin目錄添加到PATH中。
1 #編輯配置文件 2 vim /etc/profile 3 #配置環境變量 4 HADOOP_HOME=/usr/local/hadoop-2.9.0 5 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 6 export PATH 7 #使指定文件中的配置生效 8 source /etc/profile
配置步驟:
1.配置hadoop-env.sh文件中的JAVA_HOME,使用絕對路徑進行配置。
2.配置各個文件。
core-site.xml:用於配置通用屬性。
hdfs-site.xml:用於配置HDFS屬性。
mapred-site.xml:用於配置MapReduce屬性。
yarn-site.xml:用於配置YARN屬性。
關鍵配置項:
組件名稱 | 屬性名稱 | 獨立模式 | 偽分布模式 | 全分布模式 |
Common | fs.default.name | file:/// | hdfs://localhost/ | hdfs://namenode/ |
HDFS | dfs.replication | N/A | 1 | 3 |
MapReduce 1 | mapred.job.tracker | local | localhost:8021 | jobtracker:8021 |
YARN(MapReduce 2) | yarn.resource.manager.address | N/A | localhost:8032 | resoucemanager:8032 |
1 <!-- core-site.xml --> 2 <configuration> 3 <property> 4 <name>fs.default.name</name> 5 <value>hdfs://localhost/</value> 6 </property> 7 </configuration> 8 9 <!-- hdfs-site.xml --> 10 <configuration> 11 <property> 12 <name>dfs.replication</name> 13 <value>1</value> 14 </property> 15 </configuration> 16 17 <!-- mapred-site.xml --> 18 <configuration> 19 <property> 20 <name>mapred.job.tracker</name> 21 <value>localhost:8021</value> 22 </property> 23 </configuration> 24 25 <!-- yarn-site.xml --> 26 <configuration> 27 <property> 28 <name>yarn.resourcemanager.address</name> 29 <value>localhost:8032</value> 30 </property> 31 <property> 32 <name>yarn.nodemanager.aux-services</name> 33 <value>mapreduce.shuffle</value> 34 </property> 35 </configuration>
格式化:
1 #格式化文件系統 2 hadoop namenode -format
啟動步驟:
1.Map Reduce1
1 #啟動hdfs 2 start-dfs.sh --config path-to-config-directory 3 #啟動mapredude 4 start-mapred.sh --config path-to-config-directory 5 6 7 #關閉hdfs 8 stop-dfs.sh 9 #關閉mapreduce 10 stop-mapred.sh
2.Map Reduce2
1 #啟動hdfs 2 start-dfs.sh --config path-to-config-directory 3 #啟動yarn 4 start-yarn.sh --config path-to-config-directory 5 6 7 #關閉hdfs 8 stop-dfs.sh 9 #關閉yarn 10 stop-yarn.sh
Linux-Hadoop安裝