大資料環境搭建------基礎環境配置
準備材料:
作業系統:Centos7(最好有網路)
軟體:JDK:jdk-8u171-linux-x64.tar.gz(最好使用JDK1.8以上)
在虛擬機器中搭建三個linux系統,分別代表三個節點 {主節點:master 從節點:slave1、slave2}
此次操作均在root使用者下進行
1.修改主機名稱(三臺機器均修改)
(1)臨時修改
命令:hostnamectl set-hostname master (以主節點master為例)
(2)永久修改
命令:vi /etc/sysconfig/network
更改:NETWORKING=yes
HOSTNAME=master (以主節點master為例)
儲存檔案並重新啟動
2.配置hosts檔案(三臺機器均修改)
(1)檢視IP地址
命令:ifconfig
(2)修改hosts檔案
命令:vi /etc/hosts
(以主節點master為例,master的IP地址是192.168.109.125)
在檔案下寫入:192.168.109.125 master
192.168.109.126 slave1 (slave1的IP地址是192.168.109.125)
192.168.109.127 slave2 (slave2的IP地址是192.168.109.127)
儲存退出
3.關閉防火牆(三臺機器均修改)
命令:systemctl stop firewalld (Centos7)
命令:service iptables stop (Centos6)
4.時間同步(三臺均安裝)
(1)沒有網路的條件下
命令:date -s 00:00 (三臺機器的date一致無需更改)
(1)有網路的條件下
命令:date (檢視當前機器的時間)
命令:tzselect (選擇時區)
{ 5)Asia 9)Chian 1)Beijing Time 1)Yes}
(2)下載ntp(三臺機器)
命令:yum -y install ntp
(3)修改ntp配置檔案(master上執行)
(為區域網使用者提供服務)
命令:vi /etc/ntp.conf
新增內容:server 127.127.1.0
fudge 127.127.1.0 stratum 10 (設定為其他的值也是可以的)
(4)重新啟動ntp服務
命令:systemctl restart ntpd.service (Centos7)
命令:ntpd start (Centos6)
等待5-10分鐘,在到其他機器(slave1、slave2)上同步機器時間
(5)測試
命令:ntpdate master
5.配置ssh免密登入
(1)產生公私祕鑰(三臺機器)
命令:ssh-keygen (四次回車)
(2)將三臺機器的公鑰寫在authorized_keys檔案
命令:cat id_dsa.pub >> authorized_keys (master機器)
命令:scp authorized_keys slave1:~/.ssh/ (將檔案拷貝到slave1機器上)
命令:cat id_dsa.pub >> authorized_keys (slave1機器)
命令:scp authorized_keys slave2:~/.ssh/ (將檔案拷貝到slave2機器上)
命令:cat id_dsa.pub >> authorized_keys (slave2機器)
命令:scp authorized_keys master:~/.ssh/ (slave2機器,覆蓋掉master機器上的authorized_keys)
命令:scp authorized_keys slave1:~/.ssh/ (slave2機器,覆蓋掉slave1機器上的authorized_keys)
(3)測試
命令:ssh slave1 (master機器上)
命令:ssh slave2 (master機器上)
命令:ssh master (master機器上)
6.安裝JDK (三臺均安裝)
(1)在/usr下建立java資料夾 (master機器上)
命令:mkdir -p /usr/java
(2)將JDK壓縮包解壓到 /usr/java/ 下 (master機器上)
命令:tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java
(3)修改環境變數 (master機器上)
命令:vi /etc/profile
新增:
export JAVA_HOME=/usr/java/jdk1.8.0_171 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin
(4)生效環境變數
命令:source /etc/profile
(5)測試
命令:java -version (master機器上)
(6)成功後將profile檔案和java壓縮後的檔案拷貝到slave1和slave2機器上的相應的路徑上
命令:scp /etc/profile slave1:/etc/ (以slave1為例)
命令:scp /usr/java/jdk1.8.0_171 slave1:/usr/java/ (以slave1為例,在slave1相應的位置建立java資料夾)
命令:source /etc/profile (以slave1為例)
命令:java -version (測試)
此篇文章是大資料的前期搭建過程
後續有zookeeper、hadoop、hbase、hive搭建過程