技術標籤：筆記hadoop分散式hdfs大資料centos

一、網路配置器修改

【編輯器】-【虛擬網路編輯器】-【vmnet8】
勾選“使用本地DHCP服務……虛擬機器（D）”；子網改為192.168.121.0；DHCP設定為：起始IP地址：192.168.121.128，結束IP地址：192.168.121.254；NAT設定：閘道器IP：192.168.121.2。
注意：此地方可忽略，需注意子網前三位，虛擬網路編輯器的子網前三位是什麼，ip，閘道器的前三位就是什麼！！！

二、虛擬機器建立及相關檔案配置

1.安裝作業系統：software selection（virtualization host）

建立servers：mkdir -p /export/servers
進入export資料夾：cd /export
建立data：mkdir data
建立software：mkdir software
檢視：ls

2.修改主機名：hostnamectl set-hostname 主機名(hadoop01/02/03)（三臺都做）
檢視主機名：hostname
3.檢視IP：ifconfig
修改網絡卡資訊vim /etc/sysconfig/network-scripts/ifcfg-e…(table鍵)

修改如下配置

dhcp---static;
Ipv6init=”no”
HWADDR=mac地址
IPADDR=IP地址
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
 

重啟網絡卡：systemctl restart network
4.配置主機名和IP對映：vim /etc/hosts

IP地址 主機名1
IP地址 主機名2
IP地址 主機名3

5.克隆虛擬機器：
從第一臺完成了網絡卡資訊配置和IP對映的虛擬機器進行克隆（完整克隆），修改主機名、IP地址和Mac地址
6.使用CRT連線每臺虛擬機器，並進行ssh免密設定
建立公鑰：ssh-keygen -t rsa
將公鑰傳送至其他虛擬機器：ssh-copy-id 主機名（對自己對其他都要做）
7.使用FX上傳jdk，hadoop至/export/software
使用tar將以上檔案解壓至/export/servers資料夾下（將jdk改名）

三、檔案配置

1.環境變數配置:vim /etc/profile
【編寫如下配置：

# jdk
export JAVA_HOME=jdk檔案存放目錄
export PATH=$PATH:$JAVA_HOME/bin
# Hadoop
export HADOOP_HOME=Hadoop檔案存放目錄
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

完成後使用source /etc/profile更新配置檔案，可使用java -version和hadoop version檢視jdk和Hadoop版本資訊，出現版本資訊則配置檔案配配置成功

2.配置Hadoop的配置檔案
進入cd /export/servers/hadoop-2.7.4/etc/hadoop(所有Hadoop配置檔案均在在此目錄下）
（1）vim hadoop-env.sh(此檔案只需找到修改即可）

export JAVA_HOME=jdk安裝目錄

2.修改core-site.xml 檔案
[[email protected] hadoop-2.7.4]#
[[email protected] hadoop]# vi core-site.xml

		<property>
           <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.7.4/tmp</value>
        </property>

3.修改hdfs-site.xml檔案
[[email protected] hadoop]# vi hdfs-site.xml

		<property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>

4.修改mapred-site.xml檔案
先cp mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]# vi mapred-site.xml

		<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

5.修改yarn-site.xml檔案
[[email protected] hadoop]# vi yarn-site.xml

		<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

6.修改slaves檔案
[[email protected] hadoop]# vi slaves

hadoop01
hadoop02
hadoop03

以上配置完成後開始分發檔案

四，分發檔案

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/

以上步驟完成後，到Hadoop02，Hadoop03上生效配置檔案source /etc/profile

五，啟動叢集

(1),格式化主節點
(兩者選其一）hdfs namenode -format 或者hadoop namenode -format
看到 has been successfully formatted. 一般為格式化成功
（2），開啟服務 start-dfs.sh ;start-yarn.sh

完成後可看到節點分佈為hadoop01:5個，hadoop02:4個，hadoop03:3個
節點分佈為：
hadoop01:

13329 NameNode
13985 NodeManager
44914 Jps
13707 ResourceManager
13455 DataNode

hadoop02:

13145 NodeManager
12971 DataNode
13067 SecondaryNameNode
13228 Jps

hadoop03:

2576 NodeManager
2467 DataNode
2680 Jps