Hadoop單機版安裝配置
阿新 • • 發佈：2018-03-05
大數據 Hadoop [toc]
Hadoop單機版安裝配置
前言
Hadoop單機版本的環境搭建比較簡單，這裏總結一下。
Centos基本配置
網絡配置
IPADDR=192.168.43.101
NETMASK=255.255.255.0
GATEWAY=192.168.43.2
DNS1=202.96.128.166
DNS2=202.96.128.86配置完成後重啟網絡：
service network restart修改主機名和IP地址映射文件
vim /etc/sysconfig/network 將HOSTNAME改為uplooking01 保存退出： vim /etc/hosts 加入一行內容： 192.168.43.101 uplooking01
關閉防火墻，並從開機啟動項中去處防火墻
關閉防火墻：
service iptables stop
從開機啟動項中移除防火墻
chkconfig iptables off關閉selinux服務(重啟生效)
vim /etc/selinux/config
SELINUX=disabledjdk安裝
第一步：解壓 tar -zxvf /opt/soft/jdk-8u112-linux-x64.tar.gz [-C /opt/] 第二步：重命名 mv jdk1.8.0_112/ jdk 第三步：配置JAVA_HOME環境變量 vim /etc/profile.d/hadoop-etc.sh，添加一下內容 export JAVA_HOME=/opt/jdk export PATH=$PATH:$JAVA_HOME/bin 保存退出，並讓環境生效 source /etc/profile.d/hadoop-etc.sh 第四步：驗證 java -version
hadoop安裝
hadoop的版本：hadoop-2.6.4.tar.gz
1°、解壓： [uplooking@uplooking01 ~]$ tar -zxvf soft/hadoop-2.6.4.tar.gz -C /home/uplooking/app/ 2°、重命名： [uplooking@uplooking01 ~]$ mv /home/uplooking/app/hadoop-2.6.4/ /home/uplooking/app/hadoop 3°、添加hadoop相關命令到環境變量中 ~]$ vim ~/.bash_profile 加入以下內容： export HADOOP_HOME=/home/uplooking/app/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 生效： ~]$ source ~/.bash_profile 4°、創建數據存儲目錄： 1) NameNode 數據存放目錄： /home/uplooking/data/hadoop/name 2) SecondaryNameNode 數據存放目錄： /home/uplooking/data/hadoop/secondary 3) DataNode 數據存放目錄： /home/uplooking/data/hadoop/data 4) 臨時數據存放目錄： /home/uplooking/data/hadoop/tmp 5°、配置 hadoop-env.sh 、yarn-env.sh hdfs-site.xml core-site.xml mappred-site.xml yarn-site.xml 1)、配置hadoop-env.sh export JAVA_HOME=/opt/jdk 2)、配置yarn-env.sh export JAVA_HOME=/opt/jdk 3)、配置hdfs-site.xml <configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/uplooking/data/hadoop/name</value> <description>存放元數據的磁盤目錄</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/uplooking/data/hadoop/data</value> <description>存放數據的磁盤目錄</description> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/home/uplooking/data/hadoop/secondary</value> <description>存放檢查點數據的磁盤目錄</description> </property> <!-- secondaryName http地址 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>uplooking01:9001</value> </property> <!-- 數據備份數量--> <property> <name>dfs.replication</name> <value>1</value> <description>默認有3分，但是目前只有一臺機器，所以備份數設置為1</description> </property> <!-- 運行通過web訪問hdfs--> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <!-- 剔除權限控制--> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 4)、配置core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://uplooking01:9000</value> <description>hdfs內部通訊訪問地址</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/uplooking/data/hadoop/tmp</value> </property> </configuration> 5)、配置mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 歷史job的訪問地址--> <property> <name>mapreduce.jobhistory.address</name> <value>uplooking01:10020</value> </property> <!-- 歷史job的訪問web地址--> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>uplooking01:19888</value> </property> <property> <name>mapreduce.map.log.level</name> <value>INFO</value> </property> <property> <name>mapreduce.reduce.log.level</name> <value>INFO</value> </property> </configuration> 6)、配置yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>uplooking01</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>uplooking01:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>uplooking01:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>uplooking01:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>uplooking01:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>uplooking01:8088</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> </configuration> 格式化hadoop文件系統 hdfs namenode -format 當出現Storage directory /home/uplooking/data/hadoop/name has been successfully formatted.則說明格式化成功 負責失敗，如果失敗的話：就要檢查配置文件，再次進行格式化，如果要再次進行格式化， 必須要把dfs.namenode.name.dir配置目錄下面的數據清空。 啟動hadoop start-all.sh 分為以下 start-dfs.sh start-yarn.sh 啟動成功之後，通過java命令jps(java process status)會出現5個進程： NameNode SecondaryNameNode DataNode ResourceManager NodeManager 在啟動的時候，提示需要輸入的密碼，是因為沒有配置ssh免密碼登錄模式，如何配置？ ssh-keygen -t rsa 一路回車 ssh-copy-id -i uplooking@uplooking01 根據提示輸入當前機器的密碼 驗證：ssh uplooking@uplooking01 不需要再輸入密碼 驗證： 1°、在命令中執行以下命令： hdfs dfs -ls / 2°、在瀏覽器中輸入http://uplooking01:50070 3°、驗證mr /home/uplooking/app/hadoop/share/hadoop/mapreduce目錄下面，執行如下命令： yarn jar hadoop-mapreduce-examples-2.6.4.jar wordcount /hello /out 在執行作業的過程中，也可以在地址欄中輸入：http://uplooking01:8088來查看作業的執行狀態 問題： 如果要進行多次格式化，那麽需要將剛才創建的/home/uplooking/data/hadoop/中的文件夾刪除重建， 才能進行二次格式化
Hadoop單機版安裝配置