1. 程式人生 > 其它 >Hadoop大資料_安裝jdk、hadoop

Hadoop大資料_安裝jdk、hadoop

安裝jdk

一、開啟網路,ifconfig指令檢視ip

二、修改主機名

hostnamectl set-hostname hadoop

三、檢視防火牆狀態並開啟防火牆

1.firewall-cmd --state檢視防火牆狀態

2.systemctl start iptables.service開啟防火牆

3.reboot 重啟Linux

四、刪除已有的jdk

檢視java安裝版本:java -version

檢視java安裝包:rpm -qa|grep java

刪除java安裝包:rpm -e --nodeps 包名

五、安裝jdk

1.使用filezilla軟體上傳jdk到/opt目錄

2.解壓jdk

cd /opt  跳轉到opt目錄
tar -zxvf jdk-7u76-linux-x64.tar.gz 解壓jdk

六、

將java新增到環境變數中
vim /etc/profile
#在檔案最後新增
export JAVA_HOME=/opt/jdk1.7.0_76
export PATH=$PATH:$JAVA_HOME/bin
#重新整理配置
source /etc/profile

安裝Hadoop

一、filezilla上傳hadoop安裝包,配置文件(hadoop2.2.0偽分散式搭建.txt)

二、解壓hadoop安裝包
#解壓
tar -zxvf hadoop-2.2.0-64bit.tar.gz

三、修改配置檔案(5個) 路徑:/opt/hadoop-2.2.0/etc/hadoop


第一個:hadoop-env.sh
#在27行修改
export JAVA_HOME=/opt/jdk1.7.0_76

第二個:core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通訊地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.2.0/tmp</value>
</property>
</configuration>

第三個:hdfs-site.xml
<configuration>
<!-- 設定hdfs副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

第四個:mapred-site.xml.template 需要重新命名: mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

第五個:yarn-site.xml
<configuration>
<!-- reducer取資料的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

四、將hadoop新增到環境變數

vim /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
五、格式化HDFS(namenode)第一次使用時要格式化
hadoop namenode -format

六、啟動hadoop
先啟動HDFS
start-dfs.sh
再啟動YARN
start-yarn.sh

3.7驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

#檢視java的版本
java -version