1. 程式人生 > 其它 >Hadoop 2.x安裝

Hadoop 2.x安裝

1、關閉防火牆

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall開機啟動

檢視防火牆狀態
firewall-cmd --state

systemctl status firewalld.service

2、設定免金鑰

在master中生成金鑰檔案
ssh-keygen -t rsa
一直回車

將金鑰檔案同步到所有節點
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2


3、上傳hadoop安裝包 上傳到msater的/usr/local/moudle/

4、解壓
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft

5、配置環境變數

vim /etc/profile

增加hadoop環境變數,將bin和sbin都配置到PATh中
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin(PATH要在最後)

source /etc/profile


6、修改配置檔案
hadoop 配置檔案在/usr/local/soft/hadoop-2.7.6/etc/hadoop/

cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

6.1、slaves : 從節點列表(datanode)
vim slaves
增加node1, node2

6.2、hadoop-env.sh : Hadoop 環境配置檔案
vim hadoop-env.sh
修改JAVA_HOME
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

6.3、core-site.xml : hadoop核心配置檔案
vim core-site.xml
在configuration中間增加以下內容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

6.4、hdfs-site.xml : hdfs配置檔案

vim hdfs-site.xml

在configuration中間增加以下內容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>


6.5、yarn-site.xml: yarn配置檔案

vim yarn-site.xml

在configuration中間增加以下內容

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>

<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>

<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>


6.6、mapred-site.xml: mapreduce配置檔案

複製一個重新命名
cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

在configuration中間增加以下內容

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>

7、將hadoop安裝檔案分發到子節點
scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/
scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft

8、格式化namenode

hdfs namenode -format

9、啟動和停止hadoop

start-all.sh(在sbin目錄下)

stop-all.sh (在sbin目錄下)

10、訪問hdfs頁面驗證是否安裝成功

http://master:50070

或者使用java中的jps

如果安裝失敗
stop-all.sh
再次重啟的時候
1需要手動將每個節點的tmp目錄刪除: 所有節點都要刪除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
然後執行將namenode格式化
2在主節點執行命令:
hdfs namenode -format
3啟動hadoop
start-all.sh