1. 程式人生 > >hadoop2.9安裝指南

hadoop2.9安裝指南

1、到hadoop官網下載最新的二進位制版本。
2、把壓縮包上傳到你的linux伺服器、解壓縮、配置環境變數. ps:我這裡用的是centos6.9,你也可以用別的linux,譬如ubuntu。
解壓縮命令: tar -zxvf hadoop-2.9.0.tar.gz
資料夾重新命名:mv hadoop-2.9.0 hadoop
配置環境變數:vim /etc/profile

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
alias cdha='cd /home/hadoop'
export HADOOP_HOME=/home/hadoop

讓更改生效:
source /etc/profile
這裡我們設定了一個別名 cdha,可以快速轉到hadoop 的目錄。
(注意你需要事先已經安裝好了java8哦!)
3、 修改hadoop配置檔案
需要修改的配置檔案都位於$HADOOP_HOME/etc/hadoop目錄下。
1) vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

注意這裡一定要是java的絕對路徑,不可以用$JAVA_HOME代替。
2)vim core-site.xml
這裡寫圖片描述
3)vim hdfs-site.xml
這裡寫圖片描述
4、配置檔案修改說明:
Hadoop 的執行方式是由配置檔案決定的(執行 Hadoop 時會讀取配置檔案),因此如果需要從偽分散式模式切換回非分散式模式,需要刪除 core-site.xml 中的配置項。
此外,偽分散式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以執行(官方教程如此),不過若沒有配置 hadoop.tmp.dir 引數,則預設使用的臨時目錄為 /tmp/hadoo-hadoop,而這個目錄在重啟時有可能被系統清理掉,導致必須重新執行 format 才行。所以我們進行了設定,同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否則在接下來的步驟中可能會出錯。
5、配置完成後,執行以下語句格式化NameNode:
./bin/hdfs namenode –format
成功會看到如下提示:
這裡寫圖片描述


6、接著執行以下命令開啟 NameNode 和 DataNode 守護程序:
./sbin/start-dfs.sh
若ssh提示連線,輸入yes即可
啟動完成後,輸入命令jps來判斷是否啟動成功.
若成功啟動則會列出如下程序: “NameNode”、”DataNode” 和 “SecondaryNameNode”
成功啟動後,可以訪問 Web 介面 http://localhost:50070 檢視 NameNode 和 Datanode 資訊,還可以線上檢視 HDFS 中的檔案。
若有如下頁面,恭喜安裝成功 !
這裡寫圖片描述