hadoop叢集搭建(HDFS和Yarn叢集)

1.安裝hadoop2.7.4

上傳hadoop的安裝包到伺服器
 hadoop-2.7.4-with-centos-6.7.tar.gz
 解壓安裝包
 tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

注意：hadoop2.x的配置檔案目錄：$HADOOP_HOME/etc/hadoop

1.1修改hadoop配置檔案

cd /$HADOOP_HOME/etc/hadoop
第一個：hadoop-env.sh

vi hadoop-env.sh
修改:
export JAVA_HOME=/export/service/jdk
 

第二個：core-site.xml

<!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://vim01:9000</value>
</property>


<!-- 指定hadoop執行時產生檔案的儲存目錄,預設/tmp/hadoop-${user.name} -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/software/hadoop/tmp</value>
</property>
 

第三個：hdfs-site.xml

<!-- 指定HDFS副本的數量 預設為3個,此處修改為2個-->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<!-- secondary namenode 所在主機的 ip 和埠-->    
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>vim02:50090</value>
</property>
 

第四個：mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<!-- 指定mr執行時框架，這裡指定在yarn上，預設是local -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

第五個：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>vim01</value>
</property>

<!-- NodeManager上執行的附屬服務。需配置成mapreduce_shuffle，才可執行MapReduce程式預設值："" -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

第六個：slaves檔案，裡面寫上從節點所在的主機名字

vi slaves
改為:
vim01
vim02
vim03

1.2將hadoop新增到環境變數

vim /etc/proflie
    export HADOOP_HOME=/root/apps/hadoop-2.7.4
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

1.3第一次安裝一定要格式化namenode（本質是對namenode進行初始化,只能格式化一次）

    hdfs namenode -format (hadoop namenode -format)

1.4啟動hadoop

    先啟動HDFS
    sbin/
    start-dfs.sh

    再啟動YARN
    sbin/
    start-yarn.sh

1.5驗證是否啟動成功

    使用jps命令驗證
    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode   (secondarynamenode)
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode

    http://192.168.1.101:50070 （HDFS管理介面）
    http://192.168.1.101:8088 （MR管理介面）