1. 程式人生 > >hadoop2.6.5配置HDFS並執行

hadoop2.6.5配置HDFS並執行

1.先來看一下定義的節點功能

這裡寫圖片描述

2.設定namenode登入datanode的免密登入

在namenode執行:

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

3.在所有的datanode節點都執行:

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

5.驗證免密登入是否成功:

在namenode上執行命令:ssh [email protected],能夠不用密碼連線上就說明免密設定成功了

6.配置core-site.xml檔案

vi /hadoop/etc/hadoop/core-site.xml

<configuration>
    <property>
        <!--這是配置namenode的ip和埠-->
        <name>fs.defaultFS</name>
        <value>hdfs://node1:9000</value><!--node1的IP要在/etc/hosts裡面配置好-->
    </property>

    <property>
        <!--這是配置hadoop持久化的目錄-->
        <name
>
hadoop.tmp.dir</name> <value>/var/hadoop-2.6/fully</value> </property> </configuration>

7.配置hdfs-site.xml檔案

vi /hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
    <!--這是配置datanode的數量-->
        <name>dfs.replication</name
>
<value>3</value> </property> <property> <!--這是配置secondary namenode所在的節點--> <name>dfs.namenode.secondary.http-address</name> <value>node2:50090</value> </property> </configuration>

8.配置datanode的節點列表

[root@node1 hadoop]# vi slaves 

node2
node3
node4

9.啟動hadoop的hdfs

執行命令:

$ bin/hdfs namenode -format
$ sbin/start-dfs.sh

10.瀏覽器開啟HDFS驗證啟動是否正確

頁面能正常開啟,並且Live Nodes顯示數量是3,則正常啟動HDFS

這裡寫圖片描述
這裡寫圖片描述