1. 程式人生 > >centos6.0下如何Hadoop環境搭建

centos6.0下如何Hadoop環境搭建

準備工作
Hadoop環境搭建:
1.主機名
2.防火牆關閉
3.免密登入
(ssh-keygen
按4個回車後
ssh-copy-id [email protected]虛擬機器主機ip)
4.Jdk(具體安裝步驟可以看上一篇文章)

正式搭建步驟
開啟虛擬機器,進入hadoop目錄下
1、vim hadoop-env.sh
1.1、Line 25: 修改JAVA_HOME=jdk的安裝目錄

這裡寫圖片描述
2.2、Line 33:修改HADOOP_CONF_DIR=hadoop配置檔案所在的目錄
這裡寫圖片描述

2、編輯 core-site.xml
core-site.xml 主要配置的是 namenode所在的地址 及hadoop在執行過程中產生的資料存放的臨時目錄
vim core-site.xml

這裡寫圖片描述

<configuration>
        <property>
                <!--設定hdfs中namenode的訪問地址-->
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
        <!--hadoop在執行過程產生過的資料的存放臨時目錄-->
<name>hadoop.tmp.dir</name> <value>/home/work/hadoop-2.7.1/tmp</value> </property> </configuration>

3、編輯hdfs-site.xml
hdfs-site.xml針對於hadoop中檔案系統配置,主要配置塊的副本數及hdfs中許可權操作
這裡寫圖片描述

<configuration>
        <!--hdfs中block的副本數量-->
<property> <name>dfs.relipcation</name> <value>1</value> </property> <property> <!--hdfs訪問的許可權--> <name>dfs.permissions</name> <value>false</value> </property> </configuration>

4、mapred-site.xml
主要配置 mapreduce運行於yarn資源協調框架中
mapred-site.xml這個在hadoop的配置中沒有直接存在,將mapred-site.xml.template拷貝為mapred-site.xml,然後對mapred-site.xml進行編輯。

cp mapred-site.xml.template mapred-site.xml
這裡寫圖片描述

<configuration>
        <!--指定mapreduce執行時呼叫yarn進行資源協調-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5、編輯yarn-site.xml
Yarn-site.xml指定資源協調的方式,其中:指定resourcemanager的主機,指定nodemanager的執行方式
這裡寫圖片描述

<configuration>
<!--指定resourcemanager主機名-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
</property>
<property>
<!--指定nodemanager執行方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
</configuration>

6、編輯slaves
指定真正資料儲存的機器(datanode)
這裡寫圖片描述

7、配置hadoop環境變數

注意:只要提到linux中系統環境變數,就是對/etc/profile進行編輯。

vim /etc/profile
bin sbin
這裡寫圖片描述

`
JAVA_HOME=/home/work/jdk1.8.0_65
HADOOP_HOME=/home/work/hadoop-2.7.1
PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME PATH HADOOP_HOME

利用:
source /etc/profile 儲存並讓配置立即生效。`

Hadoop格式化操作:

由於配置了hadoop的環境變數,可以任何目錄下執行:
hadoop namenode -format
若沒有配置該環境變數,需要到 hadoop安裝目錄的bin目錄下執行,其中./不能省略。
./hadoop namenode -format

如果出現如下標識,代表格式化成功。。。
這裡寫圖片描述

啟動hadoop
由於配置了hadoop的環境變數,可以任何目錄下執行:
start-all.sh
若沒有配置該環境變數,需要到 hadoop安裝目錄的sbin目錄下執行,其中./不能省略。
./start-all.sh
停止命令:
stop-all.sh
檢視程序
利用jps命令檢視,如果有如下程序,代表啟動成功。
這裡寫圖片描述

如果出現錯誤,請檢視錯誤日誌追蹤錯誤來源。