Hadoop學習之Centos安裝Hadoop和配置
阿新 • • 發佈:2019-01-01
一、確保Centos配置過JDK
二、解壓Hadoop(我是使用的虛擬機器,在官網上下載好了linux版本的之後,通過FTP傳到Home資料夾下的)
三、配置Hadoop
進入hadoop資料夾中的etc下修改配置檔案
1》先修改 hadoop-env.sh 檔案
將 export JAVA_HOME=${JAVA_HOME} 改為
export JAVA_HOME=/home/jdk/jdk1.8.0_171(jdk的路徑)
2》修改 core-site.xml
在節點<configuration>中間插入下面程式碼:
<property> <name>hadoop.tmp.dir</name> <value>/home/hadoopHome/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop:8020</value> </property>
3》修改yarn-site.xml
在節點<configuration>中間插入下面程式碼:
<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop</value> </property> <property> #指定nodemanager獲取資料的方式是shuffle <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
4》修改mapred-site.xml
etc中是沒有mapred-site.xml這個檔案的,將mapred-site.xml.template 重新命名為 mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
同上寫入程式碼:
<property> #hadoop執行在yarn上 <name>mapreduce.framework.name</name> <value>yarn</value> </property>
5》修改 hdfs-site.xml
<property>
# 指定HDFS儲存資料副本的數量,預設為3
<name>dfs.replication</name>
<value>1</value>
</property>
三、將hadoop新增到系統變數裡
別忘了重啟profile
#source /etc/profile
格式化檔案系統(hdfs)
#hdfs namenode -format
has been successfully formatted 表示格式化成功了
啟動Hadoop
#進入sbin目錄下 ./start-all.sh