hadoop2.6.5配置HDFS並執行
阿新 • • 發佈:2019-01-03
1.先來看一下定義的節點功能
2.設定namenode登入datanode的免密登入
在namenode執行:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
3.在所有的datanode節點都執行:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
5.驗證免密登入是否成功:
在namenode上執行命令:ssh [email protected],能夠不用密碼連線上就說明免密設定成功了
6.配置core-site.xml檔案
vi /hadoop/etc/hadoop/core-site.xml
<configuration>
<property>
<!--這是配置namenode的ip和埠-->
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value><!--node1的IP要在/etc/hosts裡面配置好-->
</property>
<property>
<!--這是配置hadoop持久化的目錄-->
<name >hadoop.tmp.dir</name>
<value>/var/hadoop-2.6/fully</value>
</property>
</configuration>
7.配置hdfs-site.xml檔案
vi /hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<!--這是配置datanode的數量-->
<name>dfs.replication</name >
<value>3</value>
</property>
<property>
<!--這是配置secondary namenode所在的節點-->
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value>
</property>
</configuration>
8.配置datanode的節點列表
[root@node1 hadoop]# vi slaves
node2
node3
node4
9.啟動hadoop的hdfs
執行命令:
$ bin/hdfs namenode -format
$ sbin/start-dfs.sh
10.瀏覽器開啟HDFS驗證啟動是否正確
頁面能正常開啟,並且Live Nodes顯示數量是3,則正常啟動HDFS