Ubuntu16.04安裝hadoop(偽分佈模式)
阿新 • • 發佈:2018-11-11
主要參考的文章為:
https://blog.csdn.net/wangjia55/article/details/53160679
https://www.cnblogs.com/87hbteo/p/7606012.html
安裝版本:
Hadoop 3.0.3 64bit
java jdk:1.8.0_171
分為以下幾個步驟:
1、準備階段: 增加使用者Hadoop,並配置SSH免密碼登入
2、安裝JDK環境
(1,2主要參考的為上述第二個連結,很詳細,注意java環境變數的寫入,之後要用source生效)
本人將java安裝在/usr/local/下面
3、安裝Hadoop,並進行配置
從官網下載安裝包,目前已經到3.x的版本了,解壓到/usr/local下面並配置環境變數 ,參見上述第二個連結
4、偽分散式模式設定
Hadoop預設為單機模式,改為偽分散式模式就是改hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,這幾個檔案,官網有說明,參考的第一個連結也寫的很清楚。
配置完成後,首先將目錄開啟至/usr/local/hadoop,而後執行NameNode的格式化
./bin/hdfs namenode -format
而後
./sbin/start-dfs.sh
則可以啟動,若出現
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
可以參照https://blog.csdn.net/young_kim1/article/details/50324345