1.環境準備

Centos7.5系統 hadoop版本3.1

1.1資源分配

主機名	地址	角色
node01	10.10.0.11	namenode
node02	10.10.0.12	secondarynamenode datanode
node03	10.10.0.13	datanode
node04	10.10.0.14	datanode

1.2.所有節點分別配置免密登入 略

  說明：免密配好後以下都是在node01上執行的

1.3.安裝pssh配置 工具

yum install pssh -y

[[email protected] ~]# cat ~/hosts.list 
node01:22
node02:22
node03:22
node04:22

 

1.4.編輯node1的hosts檔案

10.10.0.11 node01
10.10.0.12 node02
10.10
 
.0.13 node03
10.10.0.14 node04

 

1.5.配置jdk的環境變數 略 （所有節點）

 

1.6.分發hosts配置

pscp.pssh -h hosts.list /etc/hosts /etc/

 

2.配置hadoop

所有配置均在/opt/hadoop-3.1.1/etc/hadoop 目錄下完成  

2.1.編輯hadoop-env.sh  新增如下配置

echo $JAVA_HOME   #根據得到路徑配置 hadoop-env.sh 裡JAVA_HOME的路徑

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

 

2.2.編輯core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        #配置預設的主節點為node01
        <value>hdfs://node01:9000</value>
    </property>
    #更改臨時目錄，將原先存到/tmp目錄下改存放到/var/hadoop/peseudo
    #namenode的元資料，datanode的block，也預設儲存在這個臨時目錄
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/full</value>
    </property>
</configuration>

 

2.3.編輯hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name> #代表副本
        <value>2</value>
    </property>
 
    <property>
        <name>dfs.namenode.secondary.http.address</name> #代表從節點的訪問地址
        <value>node02:9868</value>
    </property>
</configuration>

 

2.4.編輯worker 

node02
node03
node04

 

3使用pssh工具批量分發配置好的 hadoop安裝包

pscp.pssh -h  ~/hosts.list -r /opt/hadoop-3.1.1 /opt/

 

4.啟動hadoop分散式叢集

4.1.配置hadoop的環境變數編輯/etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.1
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

4.2.分發修改後的配置

pscp.pssh -h  ~/hosts.list  /etc/profile /etc/

 

4.3.批量執行生效配置

pssh -h hosts.list -i 'source /etc/profile'

 

4.4.驗證hadoop環境變數配置

hdfs --help #能顯示幫助資訊表示hadoop環境配置成功，就不必在使用在絕對路徑下執行相關命令了

 

4.5.在namenode節點上（node01）格式化

[[email protected] ~]# hdfs namenode -format

4.6進入到對應的儲存目錄檢視

[[email protected] current]# cd /var/hadoop/full/dfs/name/current/
[[email protected] current]# ll
total 16
-rw-r--r-- 1 root root 389 Dec 13 00:32 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 Dec 13 00:32 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 Dec 13 00:32 seen_txid
-rw-r--r-- 1 root root 214 Dec 13 00:32 VERSION

 

4.6.在node1上啟動所有節點所有角色

[[email protected] ~]# kill -9 2755
[[email protected] ~]# start-dfs.sh
Starting namenodes on [node01]
Last login: Thu Dec 13 01:26:04 CST 2018 on pts/0
Starting datanodes
Last login: Thu Dec 13 01:27:00 CST 2018 on pts/0
Starting secondary namenodes [node02]
Last login: Thu Dec 13 01:27:02 CST 2018 on pts/0

 

4.7.在各個節點檢視所屬角色

相關推薦