搭建Hadoop環境之偽分散式
阿新 • • 發佈:2018-12-17
搭建好單機模式的Hadoop環境以後就可以搭建偽分散式的Hadoop環境了,接下來資料儲存在HDFS上進行測試,首先就要對HDFS進行配置。
配置HDFS
配置/opt/app/hadoop2.7/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <!--這裡配置的是NameNode的IP地址和埠號--> <value>hdfs://hadoop01:8020</value> <!--hadoop01是NameNode的IP地址的對映,8020是埠號,注意埠號是 唯一的,否則會發生衝突--> </property> <property> <name>hadoop.tmp.dir</name> <!--這個資料夾會建立一個臨時檔案,並且儲存fsimage--> <value>/var/hadoop/data</value> <!--這個路徑不需要建立,在格式化namenode的時候會自動建立--> </property> </configuration>
配置/opt/app/hadoop2.7/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <!--這裡配置的是副本數量--> <value>1</value> <!--1表示有1個副本--> </property> <property> <name>dfs.namenode.secondary.http-address</name> <!--配置secondarynamenode節點--> <value>hadoop01:50090</value> <!--hadoop01是secondarynamenode節點的IP地址的對映(因為是單機版所以寫自己就行)--> </property> </configuration>
配置從節點/opt/app/hadoop2.7/etc/hadoop/slaves也就是datanode,單機版寫自己就行。 都配置好以後執行 bin/hadoop namenode -format 來格式化namenode節點,然後執行start-dfs.sh 來啟動叢集。啟動集群后可以通過jps檢視啟動節點的資訊,前面是id號。