Ambari部署
1、文件編寫目的
Apache Ambari是一種基於Web的工具,支援Apache Hadoop叢集的供應、管理和監控。Ambari已支援大多數Hadoop元件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。方便對叢集的監控和管理。
內容概要
一基礎環境安裝
1建立inforpush賬號
2配置hostname
3配置ssh
4配置ulimit
5配置umask
6安裝JDK
7配置ntpd
8安裝Scala
二、配置ambari
1配置SSH免密碼登入
2配置本地庫
3安裝amabri
4安裝amabri-agent
5安裝部署HDP叢集
1建立使用者賬號並加入響應的組
2配置hostname
1.在所有伺服器上按照規劃修改hostname
vi /etc/hostname
2.修改/etc/hosts
vi /etc/hosts
新增所有伺服器的hostname
例如:
10.8.1.6 node1
10.8.1.7 node2
10.8.1.8 node3
10.8.1.9 node4
3配置ssh
1.在所有伺服器上修改/etc/ssh/ssh_config,Port改為6801
echo “Port 6801” >> /etc/ssh/ssh_config
.4配置ulimit
1.在所有伺服器上修改ulimit限制
echo “ulimit -n 65000” >> /etc/profile
echo “* soft nofile 65000” >> /etc/security/limits.conf
echo “* hard nofile 65000” >> /etc/security/limits.conf
5配置umask
1.在所有伺服器上修改/etc/profile
vi /etc/profile
umask = 022
2.使/etc/profile生效
source /etc/profile
6安裝JDK
1.在所有伺服器上安裝JDK1.8
2.將jdk-8u77-linux-x64.gz拷貝到待安裝機器,然後解壓
tar xvf jdk-8u77-linux-x64.gz
mv jdk1.8.0_77 /usr/local/
3.配置JAVA_HOME、PATH環境變數
vi /etc/profile
在配置最後新增以下內容並儲存:
設定環境變數set JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8.0_77/
export PATH=.:
4.生效配置
source /etc/profile
5.驗證配置生效
java -version 顯示詳細的版本資訊
7配置ntpd
1.在所有伺服器上安裝ntp
yum install ntp
注:這裡我們選擇將node1作為NTP伺服器,其他伺服器同步node1
2.配置NTP伺服器的/etc/ntp.conf
vi /etc/ntp.conf
修改restrict引數,配置需要同步的伺服器的網段。
3.配置其他伺服器的/etc/ntp.conf
vi /etc/ntp.conf
修改server引數,配置NTP伺服器的IP
4.配置完成之後重啟ntp服務
systemctl restart ntpd
5.檢視時間同步
ntpq –p
注:remote引數:用於同步的遠端節點或伺服器
8安裝Scala
1.在所有需要部署Spark的伺服器上安裝scala-2.11.7
2.將scala-2.11.7.tgz拷貝到待安裝機器,然後解壓
tar xvf scala-2.11.7.tgz
mv scala-2.11.7 /usr/local/
3.配置SCALA_HOME、PATH環境變數
vi /etc/profile
在配置最後新增以下內容並儲存:
設定 scala 環境變數set SCALA_HOME
export SCALA_HOME=/usr/local/scala-2.11.7/
export PATH=.:
PATH
4.生效配置
source /etc/profile
5.驗證配置生效
scala -version 檢視scala 具體版本資訊
HDP元件安裝
1、配置ssh 免密
.2配置本地庫
1.準備工作
下載AMBARI-2.1.2-377-centos7.tar、HDP-2.3.2.0-centos7-rpm.tar、HDP-UTILS-1.1.0.20-centos7.tar,將下載的安裝包上傳(可以使用winscp軟體)到需要安裝Ambari-server的伺服器上(這裡我們選擇Inforpush1)。
也可以從以下地址遠端下載:
Ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/AMBARI-2.1.2-377-centos7.tar.gz
HDP-2.3.2.0:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.20:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
注:安裝Ambari-server的伺服器必須能聯公網。
1.準備工作
從SVN上下載AMBARI-2.1.2-377-centos7.tar、HDP-2.3.2.0-centos7-rpm.tar、HDP-UTILS-1.1.0.20-centos7.tar,將下載的安裝包上傳(可以使用winscp軟體)到需要安裝Ambari-server的伺服器上(這裡我們選擇Inforpush1)。
也可以從以下地址遠端下載:
Ambari:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/AMBARI-2.1.2-377-centos7.tar.gz
HDP-2.3.2.0:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.20:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz
注:安裝Ambari-server的伺服器必須能聯公網。
3.記住ambari、hdp的瀏覽目錄,測試在瀏覽器能否訪問得到。
名稱 BaseURL
Ambari http://node1/AMBARI-2.1.2
HDP http://node/HDP
HDP-UTILS http://node/HDP-UTILS-1.1.0.20
下圖是HDP的目錄
4.vi /etc/yum.repos.d/infopush.repo
輸入以下內容,配置本地源:
[Updates-ambari-2.1.2]
name=ambari-2.1.2 – Updates
baseurl=http://Inforpush1/ambari/centos7/
gpgcheck=1
gpgkey=http://Inforpush1/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-2.3.2.0]
name=HDP Version - HDP-2.3.2.0
baseurl=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0
gpgcheck=1
gpgkey=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.20]
name=HDP Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://Inforpush1/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=1
gpgkey=http://Inforpush1/HDP/centos7/2.x/updates/2.3.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
5.確認本地源是否生成
yum repolist
4.3.3安裝amabri
1.開始安裝amabri-server
yum install ambari-server
安裝過程終端會輸出以下資訊,最後提示安裝完成。
2.配置amabri-server
ambari-server setup -j /usr/local/jdk1.8.0_77/
-j java_home [optinal] -j後面帶的引數是指定jdk的目錄,如果不指定-j 引數的話,會預設安裝oracle-JDK.
3.終端輸出 Customize user account for ambari-server daemon ,輸入n,以root使用者身份執行amabri。選y可以不以root身份執行ambari,需要輸入想要執行的使用者名稱。
4.下一步提示Enter advanced database configuration,進行資料庫選擇,預設是n,使用PostgreSQL 資料庫。我們選的是n,使用預設的資料庫。
5.提示completed successfully,配置完成。
6.如果想修改配置,可以重新執行 ambari-server setup ,一步步往下走即可。
7.啟動、停止amabri-server,檢視amabri-server狀態
啟動:ambari-server start
狀態:ambari-server status
停止:ambari-server stop
1.配置ambari-agent
vi /etc/ambari-agent/conf/ambari-agent.ini
修改hostname引數,配置為ambari-server伺服器的IP。
2.啟動ambari-agent
啟動:ambari-agent start
狀態:ambari-agent status
停止:ambari-agent stop
4.3.4安裝部署HDP叢集
1.瀏覽器訪問 http://node1:8080,進入amabri登入頁面,使用者名稱:admin,密碼: admin
選擇 Launch Install Wizard:
第一步:Get starte,給叢集起個名字
第二步:Select stack,選擇 hdp2.3, 將除redhat7 以外的複選框去掉勾,並且將hdp以及hdp-utiles的baseurl 替換掉預設的值。
5.第三步:Install Optins,Target Hosts裡輸入需要安裝HDP的伺服器的hostname。因為提前安裝了amabri-agent,所以我們選擇“Perform manual registration on hosts and do not use SSH”
6.第四步:Confirm hosts,
如果提示有警告資訊,可以點開檢視並處理,也可以跳過不管(建議處理)。
7.第五步:Choose service,選擇需要安裝的HDP程式。這裡我們需要安裝的有ZooKeeper、Storm、Ambari Metrics、Kafka。
8.第六步:Assign masters,根據負載均衡的原則,將要安裝的服務分配到各臺機器。提示:各個元件的Master可都安在一臺機器上,Kafka和ZooKeeper每臺機器都要安裝。
9.第七步:Assign slaves and clients,可根據需要在伺服器上安裝元件。建議所有裝置都安裝Supervisor和Client。
10.第八步:Custom services,看一下各項的引數配置。 Storm元件需要修改supervisor.slots.ports,
並增加需要的埠
11.第九步:Review,確認所有安裝選項,如果覺得有問題,可以返回修改。