優秀部落格

Ambari安裝前準備

（一）機器準備

　　192.168.80.144   ambari01 　 （部署Ambari-server和Mirror server）　　　　　　　　　　（分配1G，我這裡只是體驗過程，當然你可以分配更多或更小)　

　　192.168.80.145   ambari02　　（部署Agent）　　　　　　　　　　　　　　　　　　　　　 （分配1G，我這裡只是體驗過程，當然你可以分配更多或更小)

　　192.168.80.146   ambari03　　（部署Agent）　　　　　　　　　　　　　　　　　　　　　 （分配1G，我這裡只是體驗過程，當然你可以分配更多或更小)

　　192.168.80.147   ambari04　　（部署Agent）　　　　　　　　　　　　　　　　　　          （分配1G，我這裡只是體驗過程，當然你可以分配更多或更小)

 

　　說白了，就是在ambari01上安裝了ambari。

　　　　     就是在ambari02上安裝了hdp單節點叢集。

　　　　　　就是在ambari02、ambari03和ambari04上安裝了hdp的3節點叢集。

（二）機器的部署配置

　　這裡我採用克隆的方式，當然大家也可以單獨搭建linux虛擬機器。

 

 

（1）修改主機名

　　現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。當然我也可以輸入命令來檢視一下主機名，我們輸入hostname,我們發現主機名就是ambari01，那麼接下來我們就來修改一下主機名。

　　常見的有三種方法，一種是臨時性的修改，但是當機器重啟之後就會恢復原來的值，比如我們試一下。

　　還有一種方法就是永久修改，我們直接修改配置檔案，我們直接修改/etc/sysconfig/network

　　實際上還有一種方法，修改/etc/hosts,他對網路中的主機名起作用，但是對系統本身（也就是本機）不起作用。他和第一種的效果是一樣的。實際上我們一般用這個來配置主機名和IP之間的對應關係。

　　我這裡採用第二種方法。改完之後沒有變化，我們使用reboot命令重啟一下機器就可以了。

（2）Linux虛擬機器的網路配置和系統配置

　　我這裡，僅拿ambari01來說，其他的ambari02、ambari03和ambari04是一樣的。

　　（1）ping迴環地址：能ping通，說明虛擬機器的網路協議是好的。

　　(2)ping閘道器

　　點選“編輯”——》“虛擬網路編輯器”

　　但是這裡邊要注意一個問題，因為我們是克隆的。所以我們還要改一下MAC地址（就是我們硬體的地址，用來定義網路裝置的位置），因為我們新的MAC地址和我們網絡卡配置裡的MAC地址不一致，所以會導致網路連線不上。

　　所以我們先來檢視一下我們新的MAC地址

　　我們輸入vi /etc/udev/rules.d/70-persistent-net.rules(如果你是完全克隆，這個檔案裡應該包含eth0和eth1，我們將eth0配置刪除，只保留eth1,記錄該配置對應的MAC地址，並將eth1改名為eth0

　　　　　　　　

　　

　　接下來修改網絡卡vi /etc/sysconfig/network-scripts/ifcfg-eth0

　　你要是新搭建的Linux虛擬機器的時候只需要把ONBOOT 的no改為yes就行，（開啟我們的網絡卡，我們才能夠看到我們的IP地址，BOOTPROTO=dhcp,指定獲取IP的方法，dhcp(動態主機配置協議)還有一種是static ，靜態的）　　

　　改回dhcp之後要重啟一下，否則還是檢視不到IP地址。(或者用service network restart命令)

　　OK，前面的修改完之後，下面我們就輸入ifconfig來檢視一下IP，然後我們ping IP

　　接下來我們再來ping www.baidu.com

　　OK,都能ping通，這就說明我們已經和外部網路打通了。

　　（3）X-shell遠端連線

 

（4）使用者設定：hadoop使用者

 　　我這裡，是新建的hadoop使用者。

 

　　現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

（5）為hadoop使用者設定sudo許可權

　　在root使用者下，輸入visudo開啟檔案

　　在檔案末尾（按快捷鍵，Shift + g）新增hadoop ALL=(ALL) NOPASSWD:ALL

 

　　現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

（6）配置靜態IP　　

　　現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

（7）檢視並關閉防火牆

　　先檢視一下防火牆狀態

Service iptables status

　　如果防火牆在執行，就關閉，也有兩種方法。

　　　　一種是臨時關閉

service iptables stop

　　　　一種是永久關閉

chkconfig iptables off

　　這裡我採用永久性關閉。

 

　　同理，現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

（8）關閉SELINUX

　　sudo vi /etc/selinux/config

　　把SELINUX改為disabled

　　然後重啟reboot。

 

　　現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

（9）相關服務的安裝

　　如果沒有安裝的話可以使用下面的命令安裝一下。

[[email protected] hadoop]# yum -y install lrzsz

[[email protected] hadoop]# yum install -y openssh-clients

 

　　現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

（10）時鐘同步

[[email protected] hadoop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp: overwrite `/etc/localtime'? y
[[email protected] hadoop]# yum -y install ntp

 

[[email protected] hadoop]# cd /usr/share/zoneinfo/Asia/
[[email protected] Asia]# ntpdate pool.ntp.org
30 Mar 16:06:11 ntpdate[3091]: step time server 101.6.6.172 offset -25.827716 sec
[[email protected] Asia]# date
Thu Mar 30 16:06:19 CST 2017
[[email protected] Asia]#

 現在的主機名是ambari01，拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

（11）修改hosts檔案

　　vi /etc/hosts

在裡面新增主機名和IP之間的對應關係

192.168.80.144  ambari01
192.168.80.145  ambari02
192.168.80.146  ambari03
192.168.80.147  ambari04

(注意，圖裡有錯誤，按這裡是對的）

　　注意：上面的所有步驟要在準備的四臺機器上都進行操作

（12）配置ssh免密碼登入

　　關於這一步，請移步，先看看再說，細加小心。

　　這裡我以ambari01為例來配置ssh。拿這個來說，其他的ambari02、ambari03和ambari04是一樣的。

[[email protected]~]# su hadoop //切換到hadoop使用者下
[[email protected] root]$ cd //切換到hadoop使用者目錄
[[email protected] ~]$ mkdir .ssh
[[email protected] ~]$ ssh-keygen -t rsa //執行命令一路回車，生成祕鑰
[[email protected] ~]$cd .ssh
[[email protected] .ssh]$ ls
id_rsa id_rsa.pub
[[email protected]]$ cat id_rsa.pub >> authorized_keys //將公鑰儲存到authorized_keys認證檔案中
[[email protected]]$ ls
authorized_keys id_rsa id_rsa.pub
[[email protected] .ssh]$ cd ..
[[email protected] ~]$ chmod 700 .ssh
[[email protected] ~]$ chmod 600 .ssh/*
[[email protected] ~]$ ssh ambari01//第一次執行需要輸入yes
[[email protected] ~]$ ssh ambari01//第二次以後就可以直接訪問
[[email protected] ~]$ ssh ambari01//第二次以後就可以直接訪問

 

　　將所有節點（ambari02、ambari03和ambari04）中的共鑰id_ras.pub拷貝到ambari01中的authorized_keys檔案中。

 

[[email protected] ~]$ cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat >> ~/.ssh/authorized_keys'
The authenticity of host 'ambari01 (192.168.80.144)' can't be established.
RSA key fingerprint is a8:ec:04:30:d5:9c:d2:df:cd:b7:de:58:26:70:d7:26.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ambari01,192.168.80.144' (RSA) to the list of known hosts.
[email protected]'s password: 
[[email protected] ~]$ 

 

[[email protected] ~]$ cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat >> ~/.ssh/authorized_keys'
The authenticity of host 'ambari01 (192.168.80.144)' can't be established.
RSA key fingerprint is a8:ec:04:30:d5:9c:d2:df:cd:b7:de:58:26:70:d7:26.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ambari01,192.168.80.144' (RSA) to the list of known hosts.
[email protected]'s password: 
[[email protected] ~]$ 

 

[[email protected] ~]$ cat ~/.ssh/id_rsa.pub | ssh [email protected] 'cat >> ~/.ssh/authorized_keys'
The authenticity of host 'ambari01 (192.168.80.144)' can't be established.
RSA key fingerprint is a8:ec:04:30:d5:9c:d2:df:cd:b7:de:58:26:70:d7:26.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ambari01,192.168.80.144' (RSA) to the list of known hosts.
[email protected]'s password: 
[[email protected] ~]$ 

　　得到，

　　然後將中ambari01的authorized_keys檔案分發到所有節點上面。

[[email protected] .ssh]$ scp -r authorized_keys [email protected]:~/.ssh/
The authenticity of host 'ambari02 (192.168.80.145)' can't be established.
RSA key fingerprint is e7:b4:58:e7:28:13:0c:2d:15:c5:fb:7c:2f:b3:b7:b7.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ambari02,192.168.80.145' (RSA) to the list of known hosts.
[email protected]'s password: 
authorized_keys                                                                                                                                              100% 1588     1.6KB/s   00:00    
[[email protected] .ssh]$ scp -r authorized_keys [email protected]:~/.ssh/
The authenticity of host 'ambari03 (192.168.80.146)' can't be established.
RSA key fingerprint is f5:17:e3:ac:26:53:74:4f:7e:d4:d2:ed:2a:49:4b:d2.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ambari03,192.168.80.146' (RSA) to the list of known hosts.
[email protected]'s password: 
authorized_keys                                                                                                                                              100% 1588     1.6KB/s   00:00    
[[email protected] .ssh]$ scp -r authorized_keys [email protected]:~/.ssh/
The authenticity of host 'ambari04 (192.168.80.147)' can't be established.
RSA key fingerprint is 7e:87:00:80:44:70:cd:83:e6:f3:dc:cb:21:76:23:07.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ambari04,192.168.80.147' (RSA) to the list of known hosts.
[email protected]'s password: 
authorized_keys                                                                                                                                              100% 1588     1.6KB/s   00:00    
[[email protected] .ssh]$ 

　　大家通過ssh 相互訪問，如果都能無密碼訪問，代表ssh配置成功。這裡很簡單，我就不多贅述了。

（13）JDK的安裝（建議1.8）

　　用檔案上傳工具FileZila把jdk1.8的tar包上傳到我們指定的軟體安裝目錄下（比如：/home/hadoop/app或者/usr/local/jdk）,或者使用rz命令上傳也行，但是要切換到root使用者下，或者在hadoop使用者下使用sudo rz

　　jdk-8u60-linux-x64.tar.gz

　　注意，先記得。

[[email protected] local]# mkdir jdk
[[email protected] local]# chown -R hadoop:hadoop jdk

 

[[email protected] jdk]$ ll
total 176992
-rw-r--r--. 1 hadoop hadoop 181238643 Sep  3  2016 jdk-8u60-linux-x64.tar.gz
[[email protected] jdk]$ tar -zxvf jdk-8u60-linux-x64.tar.gz 

　　解壓jdk

 　　刪除jdk壓縮包，並賦予使用者和使用者組。

[[email protected] jdk]$ rm jdk-8u60-linux-x64.tar.gz 
[[email protected] jdk]$ ll
total 4
drwxr-xr-x. 8 hadoop hadoop 4096 Aug  5  2015 jdk1.8.0_60
[[email protected] jdk]$ 

　　配置jdk環境變數並使用source命令環境變數生效

#java
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

　　使用java -version命令檢視JDK是否安裝成功

[[email protected] jdk]$ su root
Password: 
[[email protected] jdk]# source /etc/profile
[[email protected] jdk]# su hadoop
[[email protected] jdk]$ clear
[[email protected] jdk]$ pwd
/usr/local/jdk
[[email protected] jdk]$ ll
total 4
drwxr-xr-x. 8 hadoop hadoop 4096 Aug  5  2015 jdk1.8.0_60
[[email protected] jdk]$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
[[email protected] jdk]$ 

　　注意上面操作要在所有節點都執行

　　OK，到此為止我們的準備工作基本就都做好了，接下來我們就先來部署本地庫，就是部署一個映象伺服器。

歡迎大家，加入我的微信公眾號：大資料躺過的坑        人工智慧躺過的坑

同時，大家可以關注我的個人部落格：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於網際網路和個人學習工作的精華乾貨知識，一切來於網際網路，反饋回網際網路。
　　目前研究領域：大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及：Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡，每天必須有收穫

      對應本平臺的討論和答疑QQ群：大資料和人工智慧躺過的坑（總群）（161156071）