hadoop分散式搭建叢集
阿新 • • 發佈:2019-01-13
hadoop搭建叢集
1 .生成公鑰和私鑰
ssh-keygen -t rsa
一直按回車
ssh-copy-id hadoop101
自己的伺服器也需要配置
ssh-copy-id hadoop103
hadoop103的是ip地址
自己的伺服器也需要配置
2.需要配置的檔案
core-site.xml hdfs.xml有三個配置檔案: hadoop-env.sh hdfs-site.xml slaves yarn有兩個配置檔案 yarn-env.sh yarn-site.xml mapreduce mapred-env.sh mapred-site.xml
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:900</value>
</property> <property>
<name>hadoop.tmp.dir/name>
<value>/opt/module/hadoop/data/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node12:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
配置slaves
各個節點的ip地址
yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
叢集第一次啟動,格式化namenode
先刪除data 和logs
hadoop namenode -format
啟動完sbin/start-dfs.sh
訪問namenode節點:http://node1:50070