Hadoop學習第一天-------最全配置步驟
今天主要是做一些開發前的前置工作,包括配置linux虛擬機器網路,各虛擬機器之間互相訪問等等
一、配置虛擬機器的IP地址
1. cd /etc/sysconfig/network-script
,然後修改ifcfg-/ensxx檔案:
- IPADDR(IP地址)
- NETMASK(子網掩碼)
- GATEWAY(閘道器地址)
- DNS1
以上資料需要根據VMware->編輯->虛擬網路編輯->VMnet8面板獲取,其中DNS和GATEWAY的數值一樣
2. cd /etc/sysconfig
,然後在network檔案中新增:
- NETWORKING=yes
- HOSTNAME=xx(你的主機名)
3. cd /etc
二、關防火牆(Firewall and iptables)
1. systemctl disable filewall.service
,使firewall防火牆開機不啟動
2. systemctl status filewall.service
,檢視firewall防火牆當前狀態
3. systemctl stop filewall.service
,關閉firewall防火牆
4. service iptables off
,設定iptables防火牆開機不啟動
5. chkconfig iptables off
,關閉iptabls防火牆
三、克隆
建議未作任何修改之前的純淨系統就先拍一個快照,然後在對作完以上配置的系統做一個快照,利用這個做完配置的快照克隆出子虛擬機器
四、修改子虛擬機器IP
1.
cd /etc/sysconfig/network-script
,然後修改ifcfg-/ensxx檔案:- IPADDR(IP地址)
2.
cd /etc/sysconfig
,然後在network檔案中新增:- NETWORKING=yes
- HOSTNAME=xx(該虛擬機器的名字)
五、VMware Tools安裝
1. VMware->虛擬機器->重新安裝VMware tools,直到在圖形化介面上出現一個VMware tools的光碟
2. 複製光碟中的gz格式的壓縮包到Downloads資料夾,
mv VMwareTools-10.3.2-9925305.tar.gz /root/Downloads
3. 解壓縮,
tar zxvf VMwareTools-10.3.2-9925305.tar.gz
(1). -z 呼叫gzip程式來壓縮檔案,壓縮後的檔名稱以.gz結尾
(2). -x 解壓檔案
(3). -v 顯示詳細的tar處理的檔案資訊
(4). -f 要操作的檔名
*4. 開始安裝,有兩種方式:
- 進入解壓後文件所在的地址,
./vmware-install.pl
- 在任何地址下,
perl /root/Downloads/vmware-tools-distrib/vmware-install.pl
遇到的最大的一個問題:CD-ROM被鎖住。解決辦法:在虛擬機器設定->CD/DVD改為使用物理驅動器並且自動檢測
六、安裝JDK
1. 官網下載tar.gz格式的安裝包
2. 移動檔案 mv jdk-8u191-linux-x64.tar.gz /usr/local
/usr: 應用程式存放目錄,/usr/bin 存放應用程式, /usr/share 存放共享資料,/usr/lib 存放不能直接執行的,卻是許多程式執行所必需的一些函式庫檔案。/usr/local:存放軟體升級包。/usr/share/doc: 系統說明檔案存放目
3. 解壓縮檔案 tar zxvf jdk-8u191-linux-x64.tar.gz
七、配置JDK環境變數
1. 編輯/etc/profile檔案,在末尾加上Java配置
#set java environment
JAVA_HOME=/usr/local/jdk1.8.0_191
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools/jar
export JAVA_HOME
export CLASS_HOME
export PATH
2. 配置完成以後記得要更新檔案,source /etc/profile
3. 驗證是否成功, echo $PATH
** 八、配置ssh免密登入*
1. 檢驗虛擬中是否已經有.ssh檔案,cd /~.ssh
,若沒有該資料夾就代表沒有,有則刪掉
2. 生成公匙和私匙,ssh-keygen -t rsa
,連續按三次Enter,在~/.ssh檔案中生成兩個檔案,id_rsa為私匙,id_rsa.pub為公匙
3. 將id_rsa.pub的資料倒入到認證檔案(authorized_keys, cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4. 開啟子虛擬機器,分別執行,ssh-copy-id -i ~/.ssh/id_rsa.pub master
,第一個問題一定要寫yes,千萬不要直接回車(本人犯過錯55555555),然後輸入密碼,密碼是隱形的不會顯示,輸完直接回車就好
ssh-copy-id 是一個遠端傳輸命令,就是把子虛擬機器id_rsa.pub檔案的中內容新增到主虛擬機器的authorized_keys檔案裡
5. 把master虛擬機器裡面的authorized_keys複製到每個子虛擬機器上,scp ~/.ssh/authorized_keys slave1:~/.ssh/
6. 驗證,直接輸入ssh master, ssh slave1
等等可以直接登入不用輸入密碼則成功
九、配置NTP時間服務
1. NTP主要是為了進行叢集間的時間同步,先在每臺虛擬機器上執行yum install ntp
,若虛擬機器自帶則不用安裝,否則繼續安裝
2. 配置主虛擬機器,修改/etc/ntp.config檔案,註釋掉server開頭的行並新增:
restrict 192.168.236.8(此處為你主虛擬機器的ip地址) mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
3. 配置子虛擬機器,修改/etc/ntp.config檔案,註釋掉server開頭的行並新增:server master
4. 執行,分別在每個虛擬機器上執行service ntpd start
,chkconfig ntpt on