偽分散式和完全分散式的3個配置檔案的配置
阿新 • • 發佈:2019-01-06
執行的通用操作都是格式化+啟動
hdfs namenode -format
start-dfs.sh
完全分散式
在node01節點(即NameNode節點)配置hadoop
修改hdfs-site.xml配置檔案
<property> <name>dfs.replication</name> <value>3</value> <!-- 總儲存分數(備份數+1)--> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node02:50090</value> <!-- SecondaryNameNode的位置 --> </property>
修改core-site.xml配置檔案
<property> <name>fs.defaultFS</name> <!-- HDFS檔案預設地址字首(簡化實際訪問時路徑書寫) --> <value>hdfs://node01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <!-- HDFS檔案儲存位置 --> <value>/var/abc/hadoop/cluster</value> </property>
修改slaves配置檔案
配置DataNode節點,注意每行寫一個
node02
node03
node04
修改hadoop-env.sh配置檔案
# The java implementation to use.
export JAVA_HOME=/opt/zgl/jdk1.8.0_151
# 在hadoop-env.sh 配置一條hadoop配置檔案所在目錄
export HADOOP_CONF_DIR=/opt/zgl/hadoop-2.6.5/etc/hadoop
重新整理配置 source hadoop-env.sh
偽分散式
配置叢集,修改site檔案
修改hdfs-site.xml配置檔案
<property>
<name>dfs.replication</name>
<value>1</value> <!-- 總儲存分數(備份數+1)-->
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value> <!-- SecondaryNameNode的位置 -->
</property>
修改core-site.xml配置檔案
<property>
<name>fs.defaultFS</name> <!-- HDFS檔案預設地址字首(簡化實際訪問時路徑書寫) -->
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> <!-- HDFS檔案儲存位置 -->
<value>/var/abc/hadoop/local</value>
</property>
修改slaves配置檔案(配置從節點)
node01
配置hadoop-env.sh檔案
# The java implementation to use.
export JAVA_HOME=/home/jdk1.8.0
# 在hadoop-env.sh 配置一條hadoop配置檔案所在目錄
export HADOOP_CONF_DIR=/home/hadoop-2.7.5/etc/hadoop
重新整理配置 source hadoop-env.sh