Hadoop2.8.5叢集完整配置
先配一個單個的hadoop叢集(虛擬機器有namenode、datanode )
一、先安裝一臺乾淨的虛擬機器(Centos6.10)
1、先解決各種網路配置 2、主機名與IP對映 3、安裝jdk 4、免密設定(具體的去我部落格裡面找一下) 1)安裝jre或jdk
rpm -ivh jdk-8u131-linux-x64.rpm
2) 安裝hadoop
·(1) tar -zxvf hadoop-2.8.5.tar.gz -C /usr/hadoop/
(安裝rmp不需要配置java的環境變數)
·(2) 【刪除doc目錄】
3)Hadoop環境變數
1) 84 vi /etc/profile
export HADOOP_HOME=/usr/apps/hadoop/hadoop-2.8.5 #export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$PATH export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
② 驗證環境變數
2) 87 source /etc/profile
3) 89 echo $HADOOP_HOME
HDfs 修改核心配置檔案引數: (1)指定hadoop的預設檔案系統為:hdfs (2)指定hdfs的namenode節點為那臺機器 (3)指定namenode軟體儲存元資料的本地目錄 (4)指定datanode軟體存放檔案塊的本地目錄
程式碼
[[email protected] hadoop]# vi hadoop-env.sh
[[email protected] hadoop]# vi core-site.xml
[[email protected] hadoop]# vi hdfs-site.xml
witch java–>檢視java的安裝目錄
export JAVA_HOME=/usr/java/default
2 修改core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000/</value>
</property>
3 修改htfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value> //指定dfs副本數可以改 其他的如3、2
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/apps/hadoop/hadoop-2.8.5/dfs/data</value>
</property>
4、Namenodee 格式化 進入hadoop下的bin目錄 ./hadoop namenode-format(建立一個全新的目錄)
在 sbin下執行start-dfs.sh
二、配置叢集
1、若一個主機中的配好了 克隆三到兩個和上面一樣的主機 修改網路配置(我部落格有修改講解) 在Master中操作下面的 新增主機與ip對映
192.168.3.78 slaver1
192.168.3.82 Master
192.168.3.92 slaver2
進入 cd /usr/apps/hadoop/hadoop-2.8.5/etc/hadoop
(1)vi slaves(另外兩臺slaver的slaves不需要修改)
Masterd的 Slaverr的
在windows下新增主機名與IP對映 即域名 C:\Windows\System32\drivers\etc 開啟hosts
2、增加下面的(兩臺slavers也要新增)修改htfs-site.xml
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver1:50090</value>
</property>
3、刪除dfs下的name中的current的所有內容 進入 dfs/name下 rm -rf current/
4Namenodee 格式化 進入hadoop下的bin目錄 ./hadoop namenode-format(建立一個全新的目錄)
6、說明叢集搭建好了