1. 程式人生 > >基於centos7系統下HDP搭建

基於centos7系統下HDP搭建

一、基本配置

1.修改ip

vi /etc/sysconfig/network-scrpit/ifcfg-eno16777736

三臺機器base01、base02、base03,對應的ip地址分別為

base01 192.168.43.131

base02 192.168.43.132

base03 192.168.43.133

2.重啟網路服務
systemctl restart network
3.檢視相關資訊
nmcli connection show
nmcli connection show ens33 connection.id
4.檢視ip地址
ip addr

2、修改主機名

vi /etc/hosts

192.168.43.131 base01

192.168.43.132 base02

192.168.43.133 base03

3、關閉防火牆(3臺都關閉)

systemctl stop firewalld.service

檢視狀態

firewall-cmd --state

禁止開機啟動

systemctl disable firewalld.service

4、啟動ntpd服務(3臺都啟動)

先檢查是否安裝

rpm -qa | grep ntp (ntpd)

yum -y install ntp

開啟

systemctl start ntpd

開機自啟

systemctl enable ntpd

5、啟動httpd服務(只需要有一臺啟動,以base01為例啟動,這裡做yum源)

systemctl start httpd

systemctl enable httpd

6、關閉selinux服務(3臺都關閉)

vi /etc/setlinux/config

需要將selnux設定為disabled

7、配置ssh免密碼登入()

ssh-keygen -t rsa

ssh-copy-id ....

將配置了httpd服務的機器(baes01)上面的自己的金鑰拷貝到其它機器即可

8、jdk(3臺都配置)

vi /etc/profile

export JAVA_HOME=/opt/jdk

export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

9、按照一個MySQL做元資料倉庫(其中一臺配置即可,base02設定)(這裡不用postgrey,當然也可以選擇)

刪除本機自帶的mysql依賴 注意centos7更換為 mariadb-server(服務端)和mariadb

rpm -e --nodeps `rpm -qa | grep mariadb`

yum安裝

yum -y install mariadb-server

啟動服務,設定開機啟動

systemctl start mariadb.service

systemctl enable mariadb.service

設定使用者名稱密碼(自動化安裝指令碼)

mysql_secure_installation

使用者名稱/密碼----root/root

登入設定遠端訪問權

mysql -uroot -proot

mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';

mysql> flush privileges;


為了操作的方面,我們在base01上安裝一個mysql的客戶端

[[email protected] opt] # yum -y install mariadb

10、設定本地庫

將下載好的軟體解壓到映象伺服器的相應目錄下。

對於Ambari Repo,解壓到目錄/var/www/html

tar -zxvf ambari-2.5.1.0-centos7.tar.gz -C /var/www/html

對於HDP,解壓到目錄/var/www/html/hdp

tar -zxvf HDP-2.6.1.0-centos7-rpm.tar.gz -C /var/www/html/

對於HDP-UTILS,解壓到/var/www/html/hdp-utils/repos/centos7/(需要自己建立,主要保持一致)

tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/HDP-UTILS

確認解壓目錄正常

解壓結束後,在瀏覽器中確認是否可以訪問,訪問地址如下

Ambari Base URL:

http://<web.host>/ambari/

eg. http://base01/ambari

HDP Base URL:

http://<web.host>/HDP/

eg. http://base01/HDP

HDP-UTILS Base URL:

http://<web.host>/HDP-UTILS-1.1.0.21/

eg. http://base01/HDP-UTILS-1.1.0.21/

11、配置yum配置檔案

分別拷貝

cp /var/www/html/ambari/centos7/ambari.repo /etc/yum.repos.d/

cp /var/www/html/HDP/centos7/hdp.repo /etc/yum.repos.d/

cp /var/www/html/HDP-UTILS/hdp-util.repo /etc/yum.repos.d/

進行配置

ambari.repo

#VERSION_NUMBER=2.5.1.0-159

[ambari-2.5.1.0]

name=ambari Version - ambari-2.5.1.0

baseurl=http://192.168.43.131/ambari/centos7/

gpgcheck=1

gpgkey=http://192.168.43.131/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

hdp.repo

#VERSION_NUMBER=2.6.1.0-129

[HDP-2.6.1.0]

name=HDP Version - HDP-2.6.1.0

baseurl=http://192.168.43.131/HDP/centos7/

gpgcheck=1

gpgkey=http://192.168.43.131/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1


[HDP-UTILS-1.1.0.21]

name=HDP-UTILS Version - HDP-UTILS-1.1.0.21

baseurl=http://192.168.43.131/HDP-UTILS-1.1.0.21/repos/centos7

gpgcheck=1

gpgkey=http://192.168.43.131/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

hdp-util.repo


[HDP-UTILS-1.1.0.21]

name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.21

baseurl=http://192.168.43.131/HDP-UTILS-1.1.0.21/repos/centos7

gpgcheck=1

enabled=1

priority=1

12、install 和setup

在base01操作

step 1 安裝ambari-server

opt]# yum -y install ambari-server

Set up the Ambari server

setp 1 ambari-server setup

兩種方式(使用mysql)

一:原帶的postgres

OK to continue [y/n] (y)? y

Customize user account for ambari-server daemon [y/n] (n)? y

Checking JDK...

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

[3] Custom JDK

Enter choice (1): 3

Enter advanced database configuration [y/n] (n)?

二、使用自己裝的mysql

Enter advanced database configuration [y/n] (n)? y

Hostname (localhost): base02

Port (3306):

Database name (ambari):

Username (ambari): root

Enter Database Password (bigdata):

Re-enter password:

Proceed with configuring remote database connection properties [y/n] (y)?

setp 2 啟動ambari-server

ambari-server start

step 3 登入ambari web,進行叢集配置

http://192.168.43.131:8080 ---->也就是我們啟動ambari-server的機器

預設使用者/密碼:admin/admin

13、安裝完畢

選擇需要的服務,盡情安裝吧

相關推薦

基於centos7系統HDP搭建

一、基本配置 1.修改ip vi /etc/sysconfig/network-scrpit/ifcfg-eno16777736 三臺機器base01、base02、base03,對應的ip地址分別為

基於centos7系統SVN的安裝與配置(阿里雲伺服器Linux)

       對於企業或者公司來說,檔案的管理一直以來都是很頭疼的事,SVN的出現對於檔案的管理提供了很大的幫助。廢話不多說了,關於SVN,就不做過多介紹了,想要了解更多的話,請檢視SVN簡介。 關於Linux系統下如何安裝SVN,下面給我我自己的實踐步驟

基於centos7系統的docker-compose一鍵專案部署案例

一、安裝docker yum list docker //查詢可下載的軟體,查詢結果如下 docker.x86_64 2:1.13.1-53.git774336d.el7.centos

docker:基於centos7系統的docker-compose一鍵專案部署案例

一、安裝docker yum list docker //查詢可下載的軟體,查詢結果如下 docker.x86_64 2:1.13.1-53.git774336d.el7.centos @ext

阿里雲 centos7 系統 外網kafka(用自帶的zookeeper) 搭建筆記

kafka 下載 http://kafka.apache.org/downloads 你可以選擇 用xshell 來安裝檔案上傳外掛 在xshell 中執行命令 yum install  lrzsz -y  然後進入放你kakfa的目錄  我k

從零開始構建一個centos+jdk7+tomcat7的映象檔案 centos7系統docker執行環境的搭建 準備centos基礎映象 docker pull centos 或者直接下載我準備

從零開始構建一個centos+jdk7+tomcat7的映象檔案 準備centos基礎映象 docker pull centos 或者直接下載我準備好的映象 docker pull registry.cn-hangzhou.aliyuncs.com/repos_zy

Centos7.5HDP叢集搭建(一)

硬體環境:6臺伺服器,IP為172.16.172.17/18/19/20/21/22 軟體環境:作業系統為Centos7.5                  Ambari版本為2.5.0.3                  HDP版本為2.6.0.3 一、安裝前準

Centos7系統Docker ce的安裝及鏡像加速

centos nginx docker 說明:虛擬機:Vmware Workstation 12操作系統:Centos7Ip地址:192.168.137.7Docker版本:Docker CE #免費社區版安裝:一、使用yum源安裝(二選一)1、安裝依賴包$ sudo yum install -

Centos7系統修改主機名操作筆記

字母 class 空白字符 tin 工具 main arc 域名 ans 習慣了在Centos6系統下修改主機名的操作,但是Centos7下修改主機名的操作卻大不相同!操作筆記如下: 在CentOS中,有三種定義的主機名:靜態的(static),瞬態的(transie

Docker 基於centos7 的LAMP環境搭建 (實驗一)

docker mysql docke docker centos7 前言 為方便其他開源軟件的配置實驗,利用docker技術基於centos7 系統搭建了lamp 環境,其中將部署mysql 、apache、php5.6。提供基礎的數據存儲,還將部署phpmyadmin 、memadmi

Centos7系統修改主機名

x86 static 手動 name tin AR .com sta core 在CentOS中,有三種定義的主機名:靜態的(static),瞬態的(transient),和靈活的(pretty): * “靜態”主機名也稱為內核主機名,是系統在啟動時從/etc/ho

CentOS7系統GitLab的安裝

tps penssh onf install 密碼 服務 div 登錄 style 1、安裝和配置必須的依賴 1 sudo yum install curl policycoreutils openssh-server openssh-clients 2 sudo s

Linux系統基礎知識(二)基於linux系統的用戶管理操作以及文件操作補充

c99 數據塊 upa 系統數據 精確 passwd 列表 sudo 3.4 1、(思考)系統中為什麽要有用戶 1.1用戶??系統中最底層的安全設定,回收(限制)權利。1.2組??共享權利。分為以下兩種:??(1)附加組:由用戶決定的組(每個用戶不一定都有);??(2)初始

centos7系統安裝php-fpm並配置nginx支援並開啟網站gzip壓縮

注:此處不介紹nginx的安裝。以下教程預設已安裝nginx。 1. yum install -y php-fpm yum install php-pdo yum install php-mysql yum安裝預設版本是php5.4,要使用更高版本可使用yum search all

Centos7系統httpd各種方式實現與配置

1、 Centos7系統下實現httpd-2.2的安裝,並分別實現prefork、worker、event等幾種工作方式 Centos 7上若yum安裝httpd程式,預設的是2.4的版本,因此無法用yum 直接安裝,我這裡採取原始碼安裝httpd-2.2安裝前準備 [[email 

Linux——基於CentOS系統的快捷鍵配置(Terminal終端)

       大家都知道,快捷鍵的使用能大大的提高工作效率,今天我就以Terminal終端開啟的快捷鍵配置為例子!介紹一下CentOS系統下如何配置一些常用的快捷鍵。內容較少,也比較簡單,話不多說,開始配置! 1.點選右上角的設定,如下圖所示:

Linux CentOS7 系統Apache2.4.17的安裝過程

Linux系統下安裝Apache Server2.4.17。還是先宣告一下,Linux命令我不進行講解,因為我不是講Linux命令的。有需要注意的地方,我會上圖,沒什麼值得的注意的地方,我就不上圖了。還有就是怎樣將壓縮包上傳到Linux系統中去,我不進行講解,還是那句話:網

Linux-Centos7系統安裝python2並與python3版本共存

問題描述: 最近有個需求是想在centos下安裝python3.5 因為django這邊用到是這個版本 1.檢視系統版本和python版本 Centos7.6版本預設安裝的是python2.7.5版本 利用cat檢視系統版本,python -V檢視python版本 which檢視python目錄,

centos7系統配置nginx php-fpm負載均衡

  三臺Centos7伺服器 主:192.168.199.174 從:192.168.199.170 從:192.168.199.191 均全新最小化安裝,都關閉了防火牆和SELINUX 第一步 先在 主伺服器 上安裝Nginx,可以在改配置前直接開啟服務訪問看看有沒有

centos7系統一鍵安裝Gitlab

Linux系統下一鍵安裝Gitlab,Gitlab是一個用於倉庫管理系統的開源專案,使用Git作為程式碼管理工具,可以使用下面方法一鍵安裝Gitlab。 1.先檢視系統Linux版本,命令: cat /etc/redhat-release 建議使用CentOS Linu