1. 程式人生 > >ambari安裝,相關的文件,我已經上傳,包括截圖。

ambari安裝,相關的文件,我已經上傳,包括截圖。

Ambari安裝手冊
1.安裝環境說明
安裝前先安裝好 Centos 7, jdk-8u131, mysql5.6.36
2.作業系統環境準備
2.1 配置SSH免密碼登入
主節點裡root使用者登入執行如下步驟
ssh-keygencd ~/.ssh/
cat id_rsa.pub >>authorized_keys
chmod  ~/.ssh
chmod  ~/.ssh/authorized_keys
先在從節點登入root執行命令
mkdir ~/.ssh/
分發主節點裡配置好的authorized_keys到各從節點
scp /root/.ssh/authorized_keys [email protected]
:/root/.ssh/authorized_keys
2.2 建立ambari系統使用者和使用者組
只在主節點操作
新增ambari安裝、執行使用者和使用者組,也可以不建立新使用者,直接使用root或者系統其他賬號(本次沒建立ambari使用者)
adduser ambari
passwd ambari
2.3 開啟NTP服務
所有叢集上節點都需要操作
Centos 7 命令
yum  install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
Centos 6 命令
yum install ntpd
chkconfig --list ntpd
chkconfig ntpd 
service ntpd start
2.4 檢查DNS和NSCD
所有節點都要設定
ambari在安裝時需要配置全域名,所以需要檢查DNS。為了減輕DNS的負擔, 建議在節點裡用 Name Service Caching Daemon (NSCD)
vi /etc/hosts 
192.168.100.122 SY-001 SY-001.hadoop
192.168.100.123 SY-002 SY-002.hadoop
192.168.100.124 SY-003 SY-003.hadoop
每臺節點裡配置FQDN,如下以主節點為例
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=SY-001.hadoop
2.5 關閉防火牆
所有節點都要設定
Centos 7 命令
systemctl disable firewalld
systemctl stop firewalld 
Centos 6 命令
chkconfig iptables off
/etc/init.d/iptables stop
2.6 關閉SELinux
所有節點都要設定
檢視SELinux狀態:
sestatus
如果SELinux status引數為enabled即為開啟狀態 
SELinux status: enabled
臨時關閉,不用重啟機器:
setenforce 0
修改配置檔案需要重啟機器(本次用此種方式):
vi /etc/sysconfig/selinux
SELINUX=disabled
3.製作本地源
製作本地源只需在主節點上進行即可
3.1 相關準備工作
3.1.1安裝 Apache HTTP 伺服器
安裝HTTP 伺服器,允許 http 服務通過防火牆(永久)
yum install httpd
firewall-cmd --add-service=http 
firewall-cmd --permanent --add-service=http
新增 Apache 服務到系統層使其隨系統自動啟動
systemctl start httpd.service
systemctl enable httpd.service
3.1.2 安裝本地源製作相關工具
yum install yum-utils createrepo
3.2 下載安裝資源
本次下載的均為最新版:Ambari -2.5.0.3 , HDP-2.6.0.3,HDP-UTILS-1.1.0.21 的安裝資源,本次安裝是在Centos 7 上,只列出centos7的資源,其他系統的請現在對用系統的資源。 
需要下載的壓縮包如下:
Ambari -2.5.0.3 
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz 
HDP-2.6.0.3
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.21
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
在httpd網站根目錄,預設是即/var/www/html/,建立目錄ambari, 
並且將下載的壓縮包解壓到/var/www/html/ambari目錄
cd /var/www/html/
mkdir ambari
cd /var/www/html/ambari/
tar -zxvf ambari-2.5.0.3-centos7.tar.gz
tar -zxvf HDP-2.6.0.3-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C HDP-UTILS-1.1.0.21/repos/centos7/
備註:HDP-UTILS-1.1.0.21/repos/centos7/先建立(因此版本解壓後很散亂,之前版本是不需要,直接解壓就行)
驗證httd網站是否可用,瀏覽器直接訪問下面的地址:(http://192.168.100.122/ambari/)出現如下頁面,證明成功。
 
3.3 配置ambari、HDP、HDP-UTILS的本地源
首先下載上面資源列表中的相應repo檔案,修改其中的URL為本地的地址,相關配置如下:
ambari.repo
#VERSION_NUMBER=2.5.0.3
[Updates-ambari-2.3.0.3]
name=ambari-2.5.0.3 - Updates
baseurl=http://192.168.100.122/ambari/ambari/centos7/
gpgcheck=1
gpgkey=http://192.168.100.122/ambari/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp.repo
#VERSION_NUMBER=2.6.0.3
[HDP-2.6.0.3]
name=HDP Version - HDP-2.6.0.3
baseurl=http://192.168.100.122/ambari/HDP/centos7/
gpgcheck=1
gpgkey=http://192.168.100.122/ambari/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.100.122/ambari/HDP-UTILS-1.1.0.21/repos/centos7
gpgcheck=1
gpgkey=http://192.168.100.122/ambari/HDP-UTILS-1.1.0.21/repos/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
將上面的修改過的源放到/etc/yum.repos.d/下面
yum clean all
yum list update
yum makecache
yum repolist
3.4 安裝Mysql資料庫
Ambari安裝會將安裝等資訊寫入資料庫,建議使用自己安裝的MySQL資料庫,也可以不安裝而使用預設資料庫PostgreSQL(本次使用mysql資料庫)。
Mysql資料庫安裝過程如下:
1、 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
2、  rpm -ivh mysql-community-release-el7-5.noarch.rpm
3、 yum install mysql-community-server -y
4、service mysqld restart
5、mysql -uroot登入進去然後set password=password('123456');
6、vi /etc/my.cnf 在裡面 [mysqld]下加入一行:lower_case_table_names=1     service mysql restart
安裝完成後建立ambari資料庫及使用者,登入root使用者執行下面語句:
create database ambari character set utf8 ;  CREATE USER 'ambari'@'%'IDENTIFIED BY 'ambari';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%' IDENTIFIED BY 'ambari'  WITH GRANT OPTION;GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost' IDENTIFIED BY 'ambari'  WITH GRANT OPTION;FLUSH PRIVILEGES;
如果要安裝Hive,再建立Hive資料庫和使用者 再執行下面的語句:
create database hive character set utf8 ;  CREATE USER 'hive'@'%'IDENTIFIED BY 'hive';GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive'  WITH GRANT OPTION;GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' IDENTIFIED BY 'hive'  WITH GRANT OPTION;
FLUSH PRIVILEGES;
安裝mysql jdbc 驅動
yum install mysql-connector-java
3.5 安裝JDK
安裝解壓版JDK,先到官網下載jdk-8u91-Linux-x64.tar.gz 
,再執行下面命令:
tar -zxvf jjdk-8u131-linux-x64.tar.gz -C /usr/local/java/
vi /etc/profileexport 
JAVA_HOME=/opt/java/jdk1.8.0_131
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
儲存後:source /etc/profile
4.進行安裝Ambari
4.1 安裝Ambari2.5.0.3
4.1.1安裝Ambari
yum install ambari-server
4.1.2配置Ambari
ambari-server setup
下面是配置執行流程,按照提示操作
1.檢查SELinux是否關閉,如果關閉不用操作
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
2.提示是否自定義設定。輸入:y
Customize user account for ambari-server daemon [y/n] (n)? y
3.ambari-server 賬號。輸入:ambari
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
4.檢查防火牆,如果關閉則不用操作
Checking firewall status...
Redirecting to /bin/systemctl status  iptables.service
5.設定JDK。輸入:3
Checking JDK...Do you want to change Oracle JDK [y/n] (n)? y
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[] Custom JDK
==============================================================================
Enter choice (1): 3
6.如果上面選擇3自定義JDK,則需要設定JAVA_HOME。輸入:/usr/local/java/jdk1.8.0_131
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.Path to JAVA_HOME: /opt/java/jdk1.8.0_91Validating JDK on Ambari Server...done.Completing setup...
7.資料庫配置。選擇:y
Configuring database...Enter advanced database configuration [y/n] (n)? y
8.選擇資料庫型別。輸入:3
Configuring database...==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere==============================================================================
Enter choice (3): 3
9.設定資料庫的具體配置資訊,根據實際情況輸入,如果和括號內相同,則可以直接回車。
Hostname (localhost): 
Port (): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (hadoop): ambari
10.提示必須安裝MySQL JDBC,回車結束ambari配置
WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java.
Press <enter> to continue.
11.將Ambari資料庫指令碼匯入到資料庫•
如果使用自己定義的資料庫,必須在啟動Ambari服務之前匯入Ambari的sql指令碼
用Ambari使用者(上面設定的使用者)登入mysql
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.1.3啟動Amabri
執行啟動命令,啟動Ambari服務
ambari-server start
成功啟動後在瀏覽器輸入Ambari地址:
http://sy-001.hadoop:8080/
出現登入介面,預設管理員賬戶登入, 賬戶:admin 密碼:admin
 
登入成功後出現下面的介面,至此Ambari的安裝成功 
 
4.2 安裝安裝HDP 2.4.2 配置叢集
點選上面登入成功頁面的Launch Install Wizard 按鈕進行叢集配置
4.2.1設定叢集名稱 (本次設定為ftwcluster)
 
4.2.2設定HDP 安裝源
選擇HDP2.6 ,並且設定Advanced Repository Options 的資訊,本次使用本地源,所以修改對用系統的安裝源為本地源地址。
選擇redhat7 HDP-2.6對應值填入
http://192.168.100.122/ambari/HDP/centos7/
HDP-UTILS-1.1.0.21對應值填入 
http://192.168.100.122/ambari/HDP-UTILS-1.1.0.21/repos/centos7/
4.2.3設定叢集機器 
 
4.2.4 Host 確認
 確認前面配置叢集中hosts列表 中的機器是否都可用,也可以移除相關機器,叢集中機器Success後進行下一步操作。 


4.2.5 選擇要安裝的服務(本次選擇的有spark2、yarn、zookeeper、hbase及其下一步會強制讓你選擇的一些元件) 


4.2.6各個服務Master配置 
 
4.2.6 服務的Slaves 和 Clients節配置 (建議都打鉤)
 
4.2.7 服務的客製化配置 
 


4.2.8 顯示配置資訊 
 4.2.9開始安裝
安裝各個服務,並且完成安裝後會啟動相關服務,安裝過程比較長,如果中途出現錯誤,請根據具體提示或者log進行操作。 
 
安裝過程可以隨時檢視每個節點的安裝進度及日誌 
 
全部安裝成功介面如下 
 
4.2.10安裝完成 
 
 
Usertag工程配置檔案修改:只需修改usertageng的params.properties,修改為如下:
#elasticsearch servers ip
#es.address =192.168.100.126,192.168.100.127,192.168.100.128
#es.address =172.88.1.11,172.88.1.21,172.88.1.22
es.address =192.168.100.122,192.168.100.123,192.168.100.124
#es.address =192.168.56.123,192.168.56.122
#index name(database name) in elasticsearch
es.dbname = zenisoft_esdb
#prefix path of hdfs
#hdfs.path = hdfs://192.168.100.126:9000
hdfs.path = hdfs://ftwcluster:8020
#hdfs.path = hdfs://172.88.1.22:9000
#mysql url
db.url = jdbc:mysql://192.168.100.122:3306/usertag?characterEncoding=UTF-8
#db.url = jdbc:mysql://172.88.1.1:3306/usertag?characterEncoding=UTF-8
#db.url = jdbc:mysql://localhost:3306/usertag1?characterEncoding=UTF-8
#mysql username
db.username = root
#mysql password
db.password = 123456
#the type of system for spark
spark.systemtype = centos
#the level of log
log.level = info
#STREAM_CALCULATE_IDS
#sparkStream.calculate.ids="ID1704270731428454587707310,ID1704181303206106320646769,ID1704131709337705983381860,ID1704122006446865952005420,ID1704121951595627935749625,ID1704121944333261992768168,ID1704121755324291671998802,ID1704121921585361966228412,ID1704121733303727213676517"
sparkStream.calculate.ids=ID1705051727336141338877406
sparkStreaming.base.path=/data/dataPath/hdfs/sparkstreaming
Usetag介面修改為如下: