前文 已經完成了編譯,接下來就是部署了

這裏部署還是采用偽分布式部署,硬件條件沒辦法,我的破機器內存實在是拖不起三臺,只能裝一臺用偽分布式了.

1.基本安裝

找到我們剛才編譯好的安裝包

拷貝出來 #cp ./hadoop-2.8.1.tar.gz /etc/software

老規矩

解壓 #tar -xzvf hadoop-2.8.1.tar.gz

配置環境變量

export HADOOP_HOME=/opt/software/hadoop-2.8.1

export PATH=$HADOOP_HOME/bin:$PROTOC_HOME/bin:$FINDBUGS_HOME:bin:$MVN_HOME/bin:$JAVA_HOME/bin:$PATH

保存應用

試驗下 #which hadoop

2.配置SSL免密登錄

先給Root加

#cd ~

#ssh-keyge

#cd .ssh

#cat id_rsa.pub >> authorized_keys

可以看到除了第一次需要確認yes之後,後面繼續訪問都會直接通過了

再給Hadoop用戶加

先切到hadoop用戶去 #su - hadoop

#cd ~

#ssh-keygen

#cd .ssh

#cat id_rsa.pub >> authorized_keys

#chmod 600 authorized_keys

切記如果是非管理員用戶設置,必須執行紅色部分提權,否則會報權限問題設置不成功,切記切記

設置成功

3.配置 core-site.xml

#vi etc/hadoop/core-site.xml

配置:

<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://192.168.198.100:9000</value>
</property>

4.配置 hdfs-site.xml

#vi etc/hadoop/hdfs-site.xml

<property>
　　<name>dfs.replication</name>
　　<value>1</value>
</property>
<property>
　　<name>dfs.namenode.secondary.http-address</name>
　　<value>192.168.198.100:50090</value>
</property>
<property>
　　<name>dfs.namenode.secondary.https-address</name>
　　<value>192.168.198.100:50091</value>
</property>

5.配置 slaves

#vi etc/hadoop/slaves

192.168.198.100

5.配置hadoop-env.sh

這裏要手工設置下Java路徑,這裏似乎是有BUG,讀取不到配置的Java路徑,手工設置下

5.啟動

HDFS本質上是個文件系統,就好像Windows的磁盤一樣,肯定需要格式化再使用的

#hdfs namenode -format

OK 啟動吧

#cd /opt/software/hadoop-2.8.1

#sbin/start-dfs.sh

可以看見啟動成功了 並且都是以我們的IP來提供服務的

問題

管理UI 50070 無法訪問

查看一下端口

#netstat -tunlp

我每個都試了都不行 搜了貌似是我因為是Mini版的問題,沒法辦,還得調下配置

#vi etc/hadoop/hdfs-site.xml

<property>

　　<name>dfs.http.address</name>

<value>192.168.198.110:50070</value>

</property>

重啟一下HDFS 問題解決

[Hadoop]部署-偽分布式部署