1. 程式人生 > >hadoop的偽分佈模式配置

hadoop的偽分佈模式配置

主要配置5個配置檔案:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

1:配置core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost</value>
    </property>
</configuration>

2:配置hdfs-site.xml

<configuration
>
<property> <name>dfs.replication</name> <value>1</value> </property> </configuration> //其中“1”表示有多少個備份副本

3:配置mapred-site.xml,(注意:這個檔案預設是沒有的,專案提供一個樣本mapred-queues.xml.template,可以將這個cp一份)

cp mapred-site.xml.template mapred-site.xml
<configuration
>
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

4:配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value
>
localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

5:配置slaves檔案(指定datanode的主機)

只需要輸入:localhost 即可,因為是偽分佈模式,所以datanode也在本地系統
如果是完全分佈模式,則需要配置對應datanode節點的ip或主機名稱

總結:

1:配置檔案一定要注意名稱和值是否一定準確,否則會是的系統找不到這些資訊的

2:hadoop採用的是cluster/slaves的模式,slaves檔案就是指明
那幾個資料節點在那臺機上部署datanode。

3:可以很方便的將這個偽分佈模式的檔案轉化為完全分散式模式,
只需要將需要部署相關守護程序的機器ip填入相應位置即可。