Hadoop 3.1.0 單機版偽分散式的搭建
-
hadoop3.1.0單機搭建
1.1 軟體準備說明
所需軟體如下圖所示:
大資料插架都在於此:http://archive.apache.org/dist
Hadoop3.1.0的地址:http://archive.apache.org/dist/hadoop/core/hadoop-3.1.0/
Jdk:https://download.csdn.net/download/micholas_net/10488056
或者百度網盤:”開發用到的工具/”這個目錄下
1.2 預備工作
1.2.1 關閉防火牆
Centos6.5 防火牆的命令:
只用root使用者才能對防火牆進行操作:
Service iptables status
Service iptables stop;
Service iptables restart;
對於centos7自帶的防火牆的相關指令:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall開機啟動
systemctl status firewalld.service #檢視firewall的狀態
1.2.2 修改主機名
Vim /etc/sysconfig/network #修改主機名
Centos7 特有的修改主機的方式:
hostnamectl set-hostname naidong #永久性,並且立即生效
1.2.3 修改主機ip
BOOTPROTO的方式有:none 不設定;dhcp 動態獲取;static 靜態配置
- dhcp動態獲取方式
Vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="faae9218-1e5c-41c2-be4d-954e08f47970"
DEVICE="ens33"
ONBOOT="yes"
2.不指定方式
Vim /etc/sysconfig/network-scripts/ifcfg-eth0 #修改ip
DEVICE=eth0
TYPE=Ethernet
UUID=53bf9bda-633b-480f-b006-a43e0a3ce113
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none #none不指定,dhcp,動態獲取,static靜態獲取
#BOOTPROTO=static
IPADDR=192.168.2.121
NETMASK=255.255.255.0
DNS1=192.168.2.1
BROADCAST=192.168.2.1
ARPCHECK=no
#GATEWAY=192.168.2.255
PREFIX=24
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
HWADDR=00:22:68:17:03:C9
GATEWAY=192.168.2.1
LAST_CONNECT=1461421962
1.2.4 ip與主機名之間的對映
Vim /etc/hosts #修改主機名和ip的關聯對映
檢視主機名:
還是沒有改變,重新啟動系統,輸入:reboot
[email protected] ~]# hostname
naidong
[[email protected] ~]#
注意:以上操作配置完成後,需要重新啟動機器,讓配置生效!!!
詳細筆記文件如圖已上傳到百度網盤:大資料資料/2019大資料/2019-hadoop-3.1.0搭建xxx.doc