1. 程式人生 > >Hadoop學習第一天-------最全配置步驟

Hadoop學習第一天-------最全配置步驟

今天主要是做一些開發前的前置工作,包括配置linux虛擬機器網路,各虛擬機器之間互相訪問等等
一、配置虛擬機器的IP地址
1. cd /etc/sysconfig/network-script,然後修改ifcfg-/ensxx檔案:
- IPADDR(IP地址)
- NETMASK(子網掩碼)
- GATEWAY(閘道器地址)
- DNS1
以上資料需要根據VMware->編輯->虛擬網路編輯->VMnet8面板獲取,其中DNS和GATEWAY的數值一樣
2. cd /etc/sysconfig,然後在network檔案中新增:
- NETWORKING=yes
- HOSTNAME=xx(你的主機名)
3. cd /etc

,然後在hosts檔案中新增如下:
hosts
二、關防火牆(Firewall and iptables)
1. systemctl disable filewall.service,使firewall防火牆開機不啟動
2. systemctl status filewall.service,檢視firewall防火牆當前狀態
3. systemctl stop filewall.service,關閉firewall防火牆
4. service iptables off,設定iptables防火牆開機不啟動
5. chkconfig iptables off,關閉iptabls防火牆
三、克隆
建議未作任何修改之前的純淨系統就先拍一個快照,然後在對作完以上配置的系統做一個快照,利用這個做完配置的快照克隆出子虛擬機器

在這裡插入圖片描述
四、修改子虛擬機器IP
1. cd /etc/sysconfig/network-script,然後修改ifcfg-/ensxx檔案:
- IPADDR(IP地址)
2. cd /etc/sysconfig,然後在network檔案中新增:
- NETWORKING=yes
- HOSTNAME=xx(該虛擬機器的名字)
五、VMware Tools安裝
1. VMware->虛擬機器->重新安裝VMware tools,直到在圖形化介面上出現一個VMware tools的光碟
2. 複製光碟中的gz格式的壓縮包到Downloads資料夾,mv VMwareTools-10.3.2-9925305.tar.gz /root/Downloads

3. 解壓縮,tar zxvf VMwareTools-10.3.2-9925305.tar.gz
(1). -z 呼叫gzip程式來壓縮檔案,壓縮後的檔名稱以.gz結尾
(2). -x 解壓檔案
(3). -v 顯示詳細的tar處理的檔案資訊
(4). -f 要操作的檔名
*4. 開始安裝,有兩種方式:
- 進入解壓後文件所在的地址,./vmware-install.pl
- 在任何地址下,perl /root/Downloads/vmware-tools-distrib/vmware-install.pl
遇到的最大的一個問題:CD-ROM被鎖住。解決辦法:在虛擬機器設定->CD/DVD改為使用物理驅動器並且自動檢測
在這裡插入圖片描述

六、安裝JDK
1. 官網下載tar.gz格式的安裝包
2. 移動檔案 mv jdk-8u191-linux-x64.tar.gz /usr/local
/usr: 應用程式存放目錄,/usr/bin 存放應用程式, /usr/share 存放共享資料,/usr/lib 存放不能直接執行的,卻是許多程式執行所必需的一些函式庫檔案。/usr/local:存放軟體升級包。/usr/share/doc: 系統說明檔案存放目
3. 解壓縮檔案 tar zxvf jdk-8u191-linux-x64.tar.gz
七、配置JDK環境變數
1. 編輯/etc/profile檔案,在末尾加上Java配置
#set java environment
JAVA_HOME=/usr/local/jdk1.8.0_191
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools/jar
export JAVA_HOME
export CLASS_HOME
export PATH
2. 配置完成以後記得要更新檔案,source /etc/profile
3. 驗證是否成功, echo $PATH
** 八、配置ssh免密登入
*
1. 檢驗虛擬中是否已經有.ssh檔案,cd /~.ssh,若沒有該資料夾就代表沒有,有則刪掉
2. 生成公匙和私匙,ssh-keygen -t rsa,連續按三次Enter,在~/.ssh檔案中生成兩個檔案,id_rsa為私匙,id_rsa.pub為公匙
在這裡插入圖片描述
3. 將id_rsa.pub的資料倒入到認證檔案(authorized_keys, cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4. 開啟子虛擬機器,分別執行,ssh-copy-id -i ~/.ssh/id_rsa.pub master,第一個問題一定要寫yes,千萬不要直接回車(本人犯過錯55555555),然後輸入密碼,密碼是隱形的不會顯示,輸完直接回車就好
ssh-copy-id 是一個遠端傳輸命令,就是把子虛擬機器id_rsa.pub檔案的中內容新增到主虛擬機器的authorized_keys檔案裡
5. 把master虛擬機器裡面的authorized_keys複製到每個子虛擬機器上,scp ~/.ssh/authorized_keys slave1:~/.ssh/
6. 驗證,直接輸入ssh master, ssh slave1等等可以直接登入不用輸入密碼則成功
九、配置NTP時間服務
1. NTP主要是為了進行叢集間的時間同步,先在每臺虛擬機器上執行yum install ntp,若虛擬機器自帶則不用安裝,否則繼續安裝
2. 配置主虛擬機器,修改/etc/ntp.config檔案,註釋掉server開頭的行並新增:

restrict 192.168.236.8(此處為你主虛擬機器的ip地址) mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

3. 配置子虛擬機器,修改/etc/ntp.config檔案,註釋掉server開頭的行並新增:server master
4. 執行,分別在每個虛擬機器上執行service ntpd start,chkconfig ntpt on