一、系統安裝：centos7

1.新建三臺虛擬機器

2.新建完成後進入虛擬機器安裝系統，選擇最小安裝

3.配置ip

cd /etc/sysconfig/network-scripts/

vi ifcfg-ens33

4.設定hostname(伺服器名稱)

hostname               檢視伺服器名稱
hostnamectl set-hostname master   設定伺服器名稱為master(主)/slave1(從)/slave2

修改vi  /etc/hosts檔案 使ip和名稱一一對應

測試ping slave1能否ping通

5.ssh

①檢測ssh是否已安裝

rpm -qa|grep openssh

②安裝ssh

yum install ssh 安裝SSH協議
service sshd restart 啟動服務

③配置ssh免密登入

1）SSH無密碼原理 

　　Master（NameNode | JobTracker）作為客戶端，要實現無密碼公鑰認證，連線到伺服器Salve（DataNode | Tasktracker）上時，需要在Master上生成一個金鑰對，包括一個公鑰和一個私鑰，而後將公鑰複製到所有的Slave上。當Master通過SSH連線Salve時，Salve就會生成一個隨機數並用Master的公鑰對隨機數進行加密，併發送給Master。Master收到加密數之後再用私鑰解密，並將解密數回傳給Slave，Slave確認解密數無誤之後就允許Master進行連線了。這就是一個公鑰認證過程，其間不需要使用者手工輸入密碼。重要過程是將客戶端Master複製到Slave上。

2）生成祕鑰

cd ~
ssh-keygen -t rsa

輸入命令後一直按回車，不要輸入，(cd ~/.ssh)目錄下可以生成一個公鑰一個私鑰

3）在Master節點上把id_rsa.pub追加到授權的key裡面去

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    把公鑰追加至授權key中
chmod 600 ~/.ssh/authorized_keys                   修改authorized_keys許可權
service sshd restart                               重啟ssh授權
ssh localhost                                      在master本機測試是否可以免密登入
 

4）Master與其他節點無密登入

 從master中把authorized_keys分發到各個結點上格式為（scp ~/.ssh/authorized_keys 遠端使用者名稱@遠端伺服器IP:~/）

scp ~/.ssh/authorized_keys slave1:~/.ssh 
scp ~/.ssh/authorized_keys slave2:~/.ssh 

測試ssh slave1能否免密登入

二、必備軟體安裝

1.安裝java

1）進入opt目錄下載 （如果wget命令未找到就 yum -y install wget）

cd /opt

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

2）解壓

tar -zxvf jdk-8u141-linux-x64.tar.gz  

3）配環境變數（https://www.cnblogs.com/ilovexiao/p/3946467.html）

cat /etc/profile     進入配置目錄

 

在末尾加入java環境變數

source /etc/profile   使配置馬上生效

測試

java 
javac
java -version

2.安裝hadoop

①進入opt目錄下載

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz" 

②解壓

tar -zxvf hadoop-2.7.7.tar.gz 

③/opt/hadoop-2.7.7/etc/hadoop/目錄下配置檔案修改

1）JAVA_HOME

進入到cd /opt/hadoop-2.7.7/etc/hadoop/路徑下 hadoop-env.sh和yarn-env.sh 末尾新增JAVA_HOME

cd /opt/hadoop-2.7.7/etc/hadoop/
vi hadoop-env.sh 
vi yarn-env.sh

2）修改core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，slaves 配置檔案

core-site.xml

vi core-site.xml 

<configuration> 
      <property>  
        <name>fs.default.name</name>  
        <value>hdfs://master:9000</value>  
      </property>  
      <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/opt/hadoop-2.7.7/tmp</value>          <--!沒有tmp資料夾需要新建-->
      </property>   
</configuration> 

hdfs-site.xml

vi hdfs-site.xml

<configuration>  
      <property>  
        <name>dfs.replication</name>  
        <value>2</value>  
        <description>設定副本數</description>
      </property>  
      <property>  
        <name>dfs.namenode.name.dir</name>  
        <value>file:/opt/hadoop-2.7.7/dfs/name</value>  
        <description>設定存放NameNode的檔案路徑</description>
      </property>  
      <property>  
        <name>dfs.datanode.data.dir</name>  
        <value>file:/opt/hadoop-2.7.7/dfs/data</value>  
        <description>設定存放DataNode的檔案路徑</description>
      </property>  
</configuration>

mapred-site.xml（如果目錄下沒有mapred-site.xml，只有mapred.xml.template，我們要複製該檔案，並命名為mapred.xml，該檔案用於指定MapReduce使用的框架）

cp mapred-site.xml.template mapred-site.xml    (沒有mapred-site.xml才需要執行)

vi mapred-site.xml

<configuration>  
      <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
      </property>  
      <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>Master:10020</value>  
      </property>  
      <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>Master:19888</value>  
      </property>  
</configuration>  

yarn-site.xml

vi yarn-site.xml

<configuration>     
    <!-- Site specific YARN configuration properties -->  
      <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
      </property>  
      <property>  
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>master:8032</value>  
      </property>  
      <property>  
    <name>yarn.resourcemanager.scheduler.address</name>  
        <value>master:8030</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>master:8031</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.admin.address</name>  
        <value>master:8033</value>  
      </property>  
      <property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>master:8088</value>  
      </property>  
</configuration> 

slaves 檔案 （清空後輸入兩臺從主機名稱）

vi slaves 

slave1
slave2

④分發hadoop到從節點

scp -r /opt/hadoop-2.7.7 slave1:/opt/hadoop-2.7.7
scp -r /opt/hadoop-2.7.7 slave2:/opt/hadoop-2.7.7

⑤啟動hadoop

1）在Master伺服器啟動hadoop，從節點會自動啟動，進入/opt/hadoop-2.7.0目錄 
2)初始化，輸入命令，bin/hdfs namenode -format 
3)全部啟動sbin/start-all.sh，也可以分開sbin/start-dfs.sh、sbin/start-yarn.sh 
4)終止伺服器：sbin/stop-all.sh 
5)輸入命令jps，可以看到相關資訊

⑥瀏覽器訪問                                                                                            

1)關閉防火牆systemctl stop firewalld.service 
2)瀏覽器開啟http://192.168.121.129:8088/ 
3)瀏覽器開啟http://192.168.121:129:50070/ 

相關推薦