【hadoop】【Linux】在阿里雲伺服器上搭建Hadoop叢集(單機版)(centos7)
1.jdk的安裝(JDK8)
歷史版本下載地址:https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
將下載的安裝包jdk-8u144-linux-x64.tar上傳至/usr/java目錄下。
然後進入/usr/java目錄解壓
tar -zxvf jdk-8u144-linux-x64.tar.gz
解壓完成之後返回到根目錄的etc資料夾下,改寫profile配置檔案
cd /etc
vi /etc/profile
在最後新增
export JAVA_HOME =/usr/java/jdk1.8.0_144
export JAVA_BIN=/usr/java/jdk1.8.0_144/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
dk1.8.0_144就是上面的jdk壓縮包解壓後的檔名(視情況修改)
vi命令執行後,將顯示profile檔案內容。輸入i回車進入insert模式。在檔案最後新增上述內容後,按esc退出該模式,輸入:wq,執行儲存並退出。
最後記得更新配置檔案
source /etc/profile
測試是否安裝成功
java -version
出現上述內容,則成功!
2.修改主機名對映
在/etc/hosts檔案中修改對映
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.19.57.112 Laboratroy319003 Laboratroy319003
注意這裡的主機名Laboratroy319003,後面修改配置檔案需要用到。
3.下載安裝Hadoop
v2.7.3壓縮包下載地址:
下載完成後上傳至伺服器的/usr/hadoop路徑下。
進行解壓縮
tar -zxf hadoop-2.7.3.tar.gz
修改配置檔案
【修改/etc/profile檔案,在最後新增下列內容】
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
儲存後用source命令更新。
source /etc/profile
【修改hadoop-env.sh檔案】
將25行
# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
修改為
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144
上述路徑是前面配置Jdk的資料夾位置
【修改core-site.xml檔案】
在configuration中新增:
<!-- 制定HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Laboratroy319003:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄[能自動生成目錄] -->
<property>
<name>hadoop.tmp.dir</name>
<value>/Laboratroy319003/hadoop/tmp</value>
</property>
【修改hdfs-site.xml檔案】
在configuration中新增:
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
【修改mapred-site.xml檔案】
需要複製一個模板檔案
在/usr/hadoop/hadoop-2.7.3/etc/hadoop下
cp mapred-site.xml.template mapred-site.xml
然後vi mapred-site.xml
新增
<!-- 指定mr執行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
【修改yarn-site.xml檔案】
在configuration新增
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Laboratroy319003</value>
</property>
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
格式化namenode
hadoop namenode -format
報錯:
SHUTDOWN_MSG: Shutting down NameNode at Laboratroy319003/172.19.57.112
不用理會,向上翻如果有下列資訊,則說明已經成功。
INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.
啟動hadoop
start-dfs.sh
start-yarn.sh
這一過程需要yes三次並輸入三次root密碼
最後驗證是否成功
jps
最後出現下列結果則表示成功!
|
參考
大佬寫的很詳細:https://blog.csdn.net/leanaoo/article/details/83098354
非常感謝!