1. 程式人生 > >偽分散式和完全分散式的3個配置檔案的配置

偽分散式和完全分散式的3個配置檔案的配置

執行的通用操作都是格式化+啟動

hdfs namenode -format

start-dfs.sh

完全分散式

在node01節點(即NameNode節點)配置hadoop
修改hdfs-site.xml配置檔案

 <property>
            <name>dfs.replication</name>
            <value>3</value>	<!-- 總儲存分數(備份數+1)-->
    </property>
    
    <property>     
     <name>dfs.namenode.secondary.http-address</name>
         <value>node02:50090</value>	   <!-- SecondaryNameNode的位置 -->
    </property>

修改core-site.xml配置檔案

<property>
        <name>fs.defaultFS</name>		<!--  HDFS檔案預設地址字首(簡化實際訪問時路徑書寫) -->
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>			<!-- HDFS檔案儲存位置 -->
        <value>/var/abc/hadoop/cluster</value>
</property>

修改slaves配置檔案
配置DataNode節點,注意每行寫一個

node02
node03
node04

修改hadoop-env.sh配置檔案

    # The java implementation to use.
    export JAVA_HOME=/opt/zgl/jdk1.8.0_151
    # 在hadoop-env.sh 配置一條hadoop配置檔案所在目錄
    export HADOOP_CONF_DIR=/opt/zgl/hadoop-2.6.5/etc/hadoop

重新整理配置 source hadoop-env.sh

偽分散式

配置叢集,修改site檔案
修改hdfs-site.xml配置檔案

  <property>
            <name>dfs.replication</name>
            <value>1</value>	<!-- 總儲存分數(備份數+1)-->
    </property>
    
    <property>     
     <name>dfs.namenode.secondary.http-address</name>
         <value>node01:50090</value>	   <!-- SecondaryNameNode的位置 -->
    </property>

修改core-site.xml配置檔案

<property>
        <name>fs.defaultFS</name>		<!--  HDFS檔案預設地址字首(簡化實際訪問時路徑書寫) -->
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>			<!-- HDFS檔案儲存位置 -->
        <value>/var/abc/hadoop/local</value>
</property>

修改slaves配置檔案(配置從節點)

node01

配置hadoop-env.sh檔案

  # The java implementation to use.
    export JAVA_HOME=/home/jdk1.8.0
    # 在hadoop-env.sh 配置一條hadoop配置檔案所在目錄
    export HADOOP_CONF_DIR=/home/hadoop-2.7.5/etc/hadoop

重新整理配置 source hadoop-env.sh