Hadoop 3.0 安裝部署
阿新 • • 發佈:2018-11-19
最近在虛擬機器上新裝了一個單節點的Hadoop,用於日常測試。
下載二進位制包,解壓。官網 http://hadoop.apache.org
1、 安裝ssh,否則Pseudo-Distributed Operation 模式下啟動hdfs會失敗。
sudo apt-get install ssh
2、開啟 etc/hadoop/hadoop-env.sh 配置java home
export JAVA_HOME=/usr/java/latest
3、配置 etc/hadoop/core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
4、配置 etc/hadoop/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
這個地方在centos 和unbuntu都有異常,就是啟動會,無法訪問50070,但是yarn的8088可以訪問。這個問題,是hfds-site預設配置沒起作用。所以這個地方還需要再配置hdfs-site.xml 新增如下:
<property> <name>dfs.http.address</name> <value>0.0.0.0:50070</value> </property>
5、配置 ssh
$ ssh localhost 如果連線不上ssh,就執行如下命令:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keysg
6、格式化儲存目錄:
$ bin/hdfs namenode -format
7、啟動hdfs:
$ sbin/start-dfs.sh
8、檢視UI:
http://localhost:50070/