一、虛擬機器網路配置

  編輯->虛擬網路編輯器中檢視vmnet8的閘道器

修改網路設定裡IPV4內容 注意對應自己的閘道器 內容有所不同

cd進/etc/sysconfig/network-scripts #ls -rt可發現剛才修改的網路配置 名字可能不一樣

#/usr/sbin//sestatus -v 檢視SELinux status是不是disabled 如果是enabled則修改檔案#sudo vi /etc/sysconfig/selinux 修改完記得reboot

關閉防火牆centos7# sudo systemctl stop firewalld.service #sudo systemctl disable firewalld.service如果發現在root下command not found則是工作空間沒切換 輸入#su -即可

關閉防火牆centos6#servcie iptables stop       --臨時關閉防火牆#chkconfig iptables off    --永久關閉防火牆

#service iptables status檢視當前防火牆狀態

檢視是否有ssh#rpm -qa|grep ssh

cent6#service sshd start 啟動服務 #：chkconfig sshd on開機啟動

修改host#vi /etc/hosts 按照你自己的閘道器來

#vi /etc/hostname 改成master

#sudo vi /etc/ntp.conf改成下面的伺服器 如果是的話則不用改

在root下#service ntpd start#chkconfig ntpd on

二、VMware克隆os

在每個克隆裡網路介面卡->高階->mac 生成新的mac

每個克隆中修改ipv4為前面的host配置

#vi /etc/hostname修改克隆主機名字為slave1和slave2

PING一下克隆機

每臺克隆機子執行#ssh-keygen -t rsa儲存公鑰

克隆機執行#scp ~/.ssh/id_rsa.pub [email protected]:~/.ssh/id_rsa.pub.slave1

                #scp ~/.ssh/id_rsa.pub [email protected]:~/.ssh/id_rsa.pub.slave2

master機執行#cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

再執行#scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
           scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

最後ssh slave1 ssh slave2看是否能連線

三、安裝java、python、scala

四、涉及到的配置檔案為以下幾個： 涉及到的配置檔案為以下幾個： 涉及到的配置檔案為以下幾個：
01. ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
02. ${HADOOP_HOME}/etc/hadoop/yarn-env.sh
03. ${HADOOP_HOME}/etc/hadoop/slaves
04. ${HADOOP_HOME}/etc/hadoop/core-site.xml
05. ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
06. ${HADOOP_HOME}/etc/hadoop/mapred-site.xml
07. ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

如果有的 檔案不存在，可以複製相應如果有的 檔案不存在，可以複製相應如果有的 檔案不存在，可以複製相應如果有的 檔案不存在，可以複製相應template檔案獲得， 例如檔案獲得， 例如檔案獲得， 例如mapred-site.xml檔案 不存在，則可以從 mapred-site.xml.template複製一份過來

（helloworld是使用者名稱，自行修改）

配置檔案 配置檔案 1：hadoop-env.sh
指定 JAVA_HOME
export JAVA_HOME=/data/jdk1.8.0_151
/data/Hadoop-2.6.5/etc/hadoop/ hadoop-env.sh
配置檔案 配置檔案 2：yarn-env.sh
指定 JAVA_HOME
export JAVA_HOME=/data/jdk1.8.0_151
配置檔案 配置檔案 3：slaves
配置檔案 配置檔案 4：core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name> <value>file:///home/helloworld/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property> <name>hadoop.proxyuser.helloworld.hosts</name>
<value>*</value> <description>helloworld使用者 可以代理任意機器上的使用者 可以代理任意機器上的使用者 可以代理任意機器上的使用者 可以代理任意機器上的使用者 可以代理任意機器上的</description>
</property>
<property> <name>hadoop.proxyuser.helloworld.groups</name>
<value>*</value> <description>helloworld使用者 代理任何組下的使用者 代理任何組下的使用者 代理任何組下的使用者 代理任何組下的</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration> 注意 : 需要在本地建立 需要在本地建立 /home/helloworld/hadoop/tmp目錄
配置檔案 配置檔案 5：hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/helloworld/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> <value>file:///home/helloworld/hadoop/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration> 注意 : 需要在本地建立 需要在本地建立 /home/helloworld/hadoop/namenode 和/home/helloworld/hadoop/datanode目錄
配置檔案 配置檔案 6：mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
配置檔案 配置檔案 7：yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
3、 設定環境變數 設定環境變數 設定環境變數
將以下內容加入到 將以下內容加入到 ~/.bashrc檔案中 檔案中
01. export HADOOP_HOME=/data/hadoop-2.6.5
02. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
然後執行以下命令： 然後執行以下命令：

01.  ~source ~/.bashrc/.bashrc/.bashrc/.bashrc/.bashrc/.bashrc/.bashrc/.

五、在 master機器上進行如下操作： 機器上進行如下操作： 機器上進行如下操作：

1）格式化 hdfs

#hdfs namenode -format

2）啟動hdfs

start-all.sh

誤操作的話

stop-all.sh

mr-jobhistory-daemon.sh stop historyserver