1. 程式人生 > >hadoop分散式搭建叢集

hadoop分散式搭建叢集

hadoop搭建叢集
1 .生成公鑰和私鑰

		         ssh-keygen -t rsa
                 一直按回車
                ssh-copy-id hadoop101
				自己的伺服器也需要配置
				ssh-copy-id hadoop103 
				hadoop103的是ip地址
		        自己的伺服器也需要配置

2.需要配置的檔案

core-site.xml
hdfs.xml有三個配置檔案: 
                        hadoop-env.sh
                        hdfs-site.xml
                        slaves
yarn有兩個配置檔案
                        yarn-env.sh
                        yarn-site.xml
mapreduce
                        mapred-env.sh
                        mapred-site.xml

core-site.xml

   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:900</value>
    </property> <property>
        <name>hadoop.tmp.dir/name>
        <value>/opt/module/hadoop/data/tmp</value>
    </property>

hdfs-site.xml

<property> 
	     <name>dfs.namenode.secondary.http-address</name> 
		 <value>node12:50090</value> 
</property>
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

配置slaves

 各個節點的ip地址

yarn-site.xml

    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
    </property>

叢集第一次啟動,格式化namenode

先刪除data 和logs
hadoop namenode -format

啟動完sbin/start-dfs.sh
訪問namenode節點:http://node1:50070