hadoop的偽分佈模式配置
阿新 • • 發佈:2019-02-03
主要配置5個配置檔案:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。
1:配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost</value>
</property>
</configuration>
2:配置hdfs-site.xml
<configuration >
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
//其中“1”表示有多少個備份副本
3:配置mapred-site.xml,(注意:這個檔案預設是沒有的,專案提供一個樣本mapred-queues.xml.template,可以將這個cp一份)
cp mapred-site.xml.template mapred-site.xml
<configuration >
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4:配置yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value >localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5:配置slaves檔案(指定datanode的主機)
只需要輸入:localhost 即可,因為是偽分佈模式,所以datanode也在本地系統
如果是完全分佈模式,則需要配置對應datanode節點的ip或主機名稱
總結:
1:配置檔案一定要注意名稱和值是否一定準確,否則會是的系統找不到這些資訊的
2:hadoop採用的是cluster/slaves的模式,slaves檔案就是指明
那幾個資料節點在那臺機上部署datanode。
3:可以很方便的將這個偽分佈模式的檔案轉化為完全分散式模式,
只需要將需要部署相關守護程序的機器ip填入相應位置即可。