Hadoop大資料_安裝jdk、hadoop
阿新 • • 發佈:2022-04-09
安裝jdk
一、開啟網路,ifconfig指令檢視ip
二、修改主機名
hostnamectl set-hostname hadoop
三、檢視防火牆狀態並開啟防火牆
1.firewall-cmd --state檢視防火牆狀態
2.systemctl start iptables.service開啟防火牆
3.reboot 重啟Linux
四、刪除已有的jdk
檢視java安裝版本:java -version
檢視java安裝包:rpm -qa|grep java
刪除java安裝包:rpm -e --nodeps 包名
五、安裝jdk
1.使用filezilla軟體上傳jdk到/opt目錄
2.解壓jdk
cd /opt 跳轉到opt目錄
tar -zxvf jdk-7u76-linux-x64.tar.gz 解壓jdk
六、
將java新增到環境變數中
vim /etc/profile
#在檔案最後新增
export JAVA_HOME=/opt/jdk1.7.0_76
export PATH=$PATH:$JAVA_HOME/bin
#重新整理配置
source /etc/profile
安裝Hadoop
一、filezilla上傳hadoop安裝包,配置文件(hadoop2.2.0偽分散式搭建.txt)
二、解壓hadoop安裝包
#解壓
tar -zxvf hadoop-2.2.0-64bit.tar.gz
三、修改配置檔案(5個) 路徑:/opt/hadoop-2.2.0/etc/hadoop
第一個:hadoop-env.sh
#在27行修改
export JAVA_HOME=/opt/jdk1.7.0_76
第二個:core-site.xml
<configuration>
<!-- 指定HDFS老大(namenode)的通訊地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.2.0/tmp</value>
</property>
</configuration>
第三個:hdfs-site.xml
<configuration>
<!-- 設定hdfs副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四個:mapred-site.xml.template 需要重新命名: mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五個:yarn-site.xml
<configuration>
<!-- reducer取資料的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
四、將hadoop新增到環境變數
vim /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
五、格式化HDFS(namenode)第一次使用時要格式化
hadoop namenode -format
六、啟動hadoop
先啟動HDFS
start-dfs.sh
再啟動YARN
start-yarn.sh
3.7驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#檢視java的版本
java -version