start export file image 相關配置 war ava -s 網絡

1、在虛擬機上安裝Hadoop完全分布式準備工作

1）這裏使用的是VMWare軟件，在VMWare上安裝一個CentOS6.5，並再克隆兩個機器配置相關MAC地址，以及配置機器名

2）三臺虛擬機配置好靜態IP以及網絡環境，以及SSH免密碼登錄(自行參考資料)

3）安裝Java環境(自行參考資料)

4）Hadoop完全分布式結構及拓撲

2、Hadoop相關配置

1）在apache官方網站上下載hadoop-2.7.5.tar.gz包

將下載好的gz包上傳到s20機器上，解壓到/opt/soft目錄下

2）配置hadoop的環境變量

編輯/etc/profile文件，配置內容如下，編輯完成後使其生效 source /etc/profile

export HADOOP_HOME=/opt/soft/hadoop-2.7.5
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3）Hadoop配置文件

[core-site.xml]

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://s20/</value> </property> </configuration> <!-- 指定hadoop運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop-2.7.5/tmp</value> </property> [hdfs-site.xml] <configuration> <property> <!-- 這裏資源有限，配置副本數為2個(一般情況下為3個) --> <name>dfs.replication</name> <value>2</value> </property> </configuration> [mapred-site.xml] <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> [yarn-site.xml] <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>s20</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> [slaves] s21 s22 [hadoop-env.sh] export JAVA_HOME=/usr/local/java/jdk1.8.0_161

3、啟動

1）上述操作都完成之後，執行格式化

hdfs namenode -format

2）執行啟動腳本

start-dfs.sh：啟動hdfs

start-yarn.sh：啟動yarn

3）分別查看進程，是否啟動的進程與拓撲圖中的一致，如果不一致則可能有進程沒有啟動成功，需要檢查配置

4）查看hdfs管理頁面

http://192.168.137.120:50070

5）查看yarn管理頁面

http://192.168.137.120:8088

Hadoop-2.7.5完全分布式搭建