1. 程式人生 > >hadoop叢集ambari搭建(1)之ambari-server安裝

hadoop叢集ambari搭建(1)之ambari-server安裝

Apache Ambari是一種基於Web的工具,支援Apache Hadoop叢集的供應、管理和監控。Ambari目前已支援大多數Hadoop元件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支援HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。

Ambari主要取得了以下成績:

通過一步一步的安裝嚮導簡化了叢集供應。
預先配置好關鍵的運維指標(metrics),可以直接檢視Hadoop Core(HDFS和MapReduce)及相關專案(如HBase、Hive和HCatalog)是否健康。
支援作業與任務執行的視覺化與分析,能夠更好地檢視依賴和效能。
通過一個完整的RESTful API把監控資訊暴露出來,集成了現有的運維工具。
使用者介面非常直觀,使用者可以輕鬆有效地檢視資訊並控制叢集。
Ambari使用Ganglia收集度量指標,用Nagios支援系統報警,當需要引起管理員的關注時(比如,節點停機或磁碟剩餘空間不足等問題),系統將向其傳送郵件。

此外,Ambari能夠安裝安全的(基於Kerberos)Hadoop叢集,以此實現了對Hadoop 安全的支援,提供了基於角色的使用者認證、授權和審計功能,併為使用者管理集成了LDAP和Active Directory。


1.安裝centos 6.5作業系統 

每一個作業系統都配置了三塊網絡卡,一塊net,一塊host only,一塊橋接。除了net轉發動態獲取IP,其他的網絡卡IP都是靜態配置的。 系統版本: CentOS release 6.5 (Final) CPU: model name      : Intel(R) Core(TM) i5-4460  CPU @ 3.20GHz stepping        : 3 cpu MHz         : 3192.620 cache size      : 6144 KB clflush size    : 64 cache_alignment : 64
address sizes   : 42 bits physical, 48 bits virtual 記憶體 MemTotal:        1004412 kB 1G 硬碟 總容量 20G
節點名稱 IP1 IP2 備註
hadoop1 192.168.253.188 動態聯網 root/123456/192.168.1.122  橋接
hadoop2 192.168.253.189
動態聯網
hadoop3 192.168.253.190
動態聯網

2.ssh免祕鑰登入

建立使用者hadoop 修改密碼 所有機器都使用同樣的密碼最好。

使用hadoop使用者,命令如下
ssh-keygen -t rsa  生成rsa加密的金鑰

cp id_rsa.pub authorized_keys             copy檔案

cat id_rsa.pub>>authorized_keys 將其他的祕鑰追加到這一個檔案中,然後分發給所有機器
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAqxuCo78OdD/GIgphhLdKFA+vop4AnyiBaNDYlUE6PPwzqoBZVmmGPjrBV+rM/GQkZ1xrDCabKywvcgz+YW5vmo511bZ9ZBXQXck/zSkHcf84YXZo56dcFd00qpbFA1y/5KhtRn4J1REhHRJFYx99ZlBr9miNnGQfZeEYJsNANzTwJGU9Vc5r5Qvkhi9bJ70THkP0rMm2fuSYKTo3QxlixGzVCrZsG6D3Rv4KdXgKtkxAAvTi/7jVEu0WovjbpFlz2VoQT86zhQUmU6S8QWkMlk8kMvEzr+QUrS08ks+8BaSi7Kw+4NmfDNNd/EmI9j8NTWQEWajebOcJYl2n7HaXNw== [email protected] ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5O2ru0IFgXmEdRvr/7cV9cJjZ2/MrYI7ip3UttVu1y6NskQBtqWPE08pxeX3VHoxtqFoqoJCdSlpr9KByngD4Z9U6d5j2UtLbZ9ZCs59YjSO+pinZaXpeKlXH4revdfoRJtmpG4FfyBDi11maDzoJEKObyz3Pi4QxvmI12NQtttFcCRPfv7MqT9l0tuwY5aRbCZVeybWwyZjhtI15p2NAB/042OsQ/FXLvtqVRl4+IOol0yjgi8KTKaBlvWDeKVrLzl4h0tuFUcfNv0yUW+KzrTD7Zj8Q7SpFg73uLn0Ufeq5UtCo0+poMpl+yVcZt0SD1Yic8Er5/i61Pg1ehCFKQ== [email protected] ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA8wZr0bFUb0KeD8RfnX0KmujcpRw2r5hb/Opfp1ZXGU36BMmZDRwWHB8E1WaezRUubGVa/HTFm6zV7jetEJAsx9jUIPjEfRd25vW/Xej6gaYlUSg7yTf3H3KTb3wNmqiDziSD8yg9G0bPGcNXVfYAz7CEBPAxk9QFSJNtXxFeqSb9yKdBOzsA4hx1oLwV7G/xOUlCzuwSaS5YMG5eKrn1TDCK+FxcBxk6QpNAWO665XeKN/JTZi1bIQEAqC1tJJo1VFgW9/+gE2skI9RpJapVDm+TiZU/wOVqQek/hFLEfhL5f56wsJlz9lOBhxBPBGAbOBlzCJJCiOhmyx7sW73+Tw== [email protected] scp :複製給其他的主機

3.接下來配置所有的hosts檔案

[[email protected] .ssh]# vi /etc/hosts 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.253.188 hadoop1.com 192.168.253.189 hadoop2.com 192.168.253.190 hadoop3.com ~ wq儲存。 分發:

4.配置完成檢查是否可以免祕鑰登入

The authenticity of host 'hadoop3.com (192.168.253.190)' can't be established. RSA key fingerprint is 16:c3:fc:d7:fc:db:98:ba:ef:aa:54:e4:d9:f5:51:be. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'hadoop3.com' (RSA) to the list of known hosts. 伺服器之間可以互相ssh登入,成功

5.安裝ambari

[[email protected] ~]# yum install wget 安裝wget工具 首先需要獲取 Ambari 的公共庫檔案(public repository)。登入到 Linux 主機並執行下面的命令(也可以自己手工下載): wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo 將下載的 ambari.repo 檔案拷貝到 Linux 的系統目錄/etc/yum.repos.d/。拷貝完後,我們需要獲取該公共庫的所有的原始檔列表。依次執行以下命令。 yum clean all yum list|grep ambari Cleaning up list of fastest mirrors [[email protected] yum.repos.d]# yum list|grep ambari ambari-agent.x86_64                       2.0.1-45                       Updates-ambari-2.0.1 ambari-log4j.noarch                       2.0.1.45-1                     Updates-ambari-2.0.1 ambari-metrics-collector.x86_64           2.0.1-45                       Updates-ambari-2.0.1 ambari-metrics-common.noarch              2.0.1-45                       Updates-ambari-2.0.1 ambari-metrics-hadoop-sink.x86_64         2.0.1-45                       Updates-ambari-2.0.1 ambari-metrics-monitor.x86_64             2.0.1-45                       Updates-ambari-2.0.1 ambari-server.noarch                      2.0.1-45                       Updates-ambari-2.0.1 hdp_mon_ganglia_addons.noarch             2.0.1.45-1.el6                 Updates-ambari-2.0.1 hdp_mon_nagios_addons.noarch              2.0.1.45-1.el6                 Updates-ambari-2.0.1

6.ambari配置

待安裝完成後,便需要對 Ambari Server 做一個簡單的配置。執行下面的命令。

amari-server setup
[[email protected] ~]# ambari-server setup Using python  /usr/bin/python2.6 Setup ambari-server Checking SELinux... SELinux status is 'enabled' SELinux mode is 'enforcing' Temporarily disabling SELinux WARNING: SELinux is set to 'permissive' mode and temporarily disabled. OK to continue [y/n] (y)? y Customize user account for ambari-server daemon [y/n] (n)?  Adjusting ambari-server permissions and ownership... Checking iptables... WARNING: iptables is running. Confirm the necessary Ambari ports are accessible. Refer to the Ambari documentation for more details on ports. OK to continue [y/n] (y)?  Checking JDK... [1] Oracle JDK 1.7 [2] Oracle JDK 1.6 [3] - Custom JDK ============================================================================== Enter choice (1): 1 To download the Oracle JDK and the Java Cryptography Extension (JCE) Policy Files you must accept the license terms found at http://www.oracle.com/technetwork/java/javase/terms/license/index.html and not accepting will cancel the Ambari Server setup and you must install the JDK and JCE files manually. Do you accept the Oracle Binary Code License Agreement [y/n] (y)? 

7.ambari啟動

簡單的 setup 配置完成後。就可以啟動 Ambari 了。執行下面的命令。

ambari-server start
[[email protected] ~]# ambari-server start Using python  /usr/bin/python2.6 Starting ambari-server Ambari Server running with administrator privileges. Organizing resource files at /var/lib/ambari-server/resources... Server PID at: /var/run/ambari-server/ambari-server.pid Server out at: /var/log/ambari-server/ambari-server.out Server log at: /var/log/ambari-server/ambari-server.log Waiting for server start.................... Ambari Server 'start' completed successfully. 通過命令tail -f /var/log/ambari-server/ambari-server.log 檢視伺服器日誌 [[email protected] ~]# tail -f /var/log/ambari-server/ambari-server.log  29 Dec 2015 13:25:44,472  INFO [main] Configuration:514 - Generation of file with password 29 Dec 2015 13:25:46,115  INFO [main] Configuration:527 - Reading password from existing file 29 Dec 2015 13:25:47,753  INFO [main] Configuration:527 - Reading password from existing file 29 Dec 2015 13:25:48,195  INFO [main] ViewExtractor:82 - Creating archive folder /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.0.0}. 29 Dec 2015 13:25:48,196  INFO [main] ViewExtractor:89 - Extracting files from ambari-admin-2.0.1.45.jar. 29 Dec 2015 13:25:49,386  INFO [main] Configuration:527 - Reading password from existing file 29 Dec 2015 16:32:07,171  INFO [main] Configuration:527 - Reading password from existing file 29 Dec 2015 16:32:07,213  INFO [main] Configuration:747 - Hosts Mapping File null 29 Dec 2015 16:32:07,213  INFO [main] HostsMap:60 - Using hostsmap file null 29 Dec 2015 16:32:08,470  INFO [main] ControllerModule:173 - Detected POSTGRES as the database type from the JDBC URL 29 Dec 2015 16:32:18,870  INFO [main] AmbariServer:655 - Getting the controller 29 Dec 2015 16:32:22,555  INFO [main] StackDirectory:408 - Stack '/var/lib/ambari-server/resources/stacks/HDP/2.0.6.GlusterFS' doesn't contain an upgrade directory 29 Dec 2015 16:32:22,613  INFO [main] StackDirectory:429 - Role command order info was loaded from file: /var/lib/ambari-server/resources/stacks/HDP/2.0.6.GlusterFS/role_command_order.json 29 Dec 2015 16:32:22,703  INFO [main] StackDirectory:408 - Stack '/var/lib/ambari-server/resources/stacks/HDP/2.1.GlusterFS' doesn't contain an upgrade directory

8.完成

開啟地址
Charles 2015-12-29於Phnom Phen 版權說明: 本文由Charles Dong原創,本人支援開源以及免費有益的傳播,反對商業化謀利。 CSDN部落格:http://blog.csdn.net/mrcharles 個人站:http://blog.xingbod.cn EMAIL:[email protected]

相關推薦

hadoop叢集ambari搭建(1)ambari-server安裝

Apache Ambari是一種基於Web的工具,支援Apache Hadoop叢集的供應、管理和監控。Ambari目前已支援大多數Hadoop元件,包括HDFS、MapReduce、Hive、Pig

hadoop叢集環境搭建偽分散式叢集環境搭建

搭建叢集的模式有三種 1.偽分散式:在一臺伺服器上,啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的) 2.完全分散式:在多臺伺服器上,每臺伺服器啟動不同角色的程序,多臺伺服器構成叢集 node01:NameNode node02:

叢集搭建1前期準備

軟體版本準備 1.hadoop-2.6.0-cdh5.7.0.tar.gz 2.jdk-8u45-linux-x64.gz 3.zookeeper-3.4.6.tar.gz 需要軟體的小夥伴可以評論裡面留下郵箱地址 建立hadoop使用者上傳軟體 1.在/home/hadoop(

VMware 下Hadoop叢集環境搭建虛擬機器克隆,Hadoop環境配置

在上一篇我們完成了ContOS網路配置以及JDK的安裝,這一篇將在上一篇的基礎上繼續講解虛擬機器的克隆,hadoop環境搭建 虛擬機器克隆. 利用上一篇已經完成網路配置和jdk安裝的虛擬機器在克隆兩臺虛擬機器. 1. 將擬機hadoop01關機.

阿里雲學生機搭建spark、hadoop叢集(踩坑路)

伺服器:三臺阿里雲學生機(三個賬號,都在華南1c)系統:ubuntu一、通過外網ip登入伺服器需要修改安全組,出入方向都一樣,都加入這兩條。為何加這兩條後續慢慢說明。第一條安全組功能之一就是為了能夠本地ssh到伺服器。(網上第一條几乎所有的埠配置都是22/22,後續解釋為何改

linux RedHat7LNMP構架搭建論壇源碼安裝Nginx(1

lldb config 14. 安裝nginx c-c red ase 更改 鏈接 首先掛載鏡像配置yum源 在使用源碼安裝服務之前,首先要讓主機具備源碼安裝的編譯程序源碼的環境。#yum install -y apr autoconf automake bison bzi

Hadoop叢集搭建(虛擬機器準備,JDK和Hadoop安裝Hadoop目錄結構)

目錄 虛擬機器準備 JDK和Hadoop安裝 Hadoop的目錄結構: 虛擬機器準備 環境:一臺剛裝好的CentOS,操作如下: [[email protected] ~]# ifconfig 獲取當前主機的ip地址,然後使用shell登入,使用she

Hadoop學習記錄(一、Hadoop叢集搭建

參考:http://www.zuidemo.com/filePreview/pdfFilePreview/11202並進行補充 1.新建七個centos7系統的虛擬機器,分別命名為cluster1,cluster2等。關閉防火牆。 2.七臺主機都修改host檔案 vi /etc/host

大資料作業(一)基於docker的hadoop叢集環境搭建

主要是根據廈門大學資料庫實驗室的教程(http://dblab.xmu.edu.cn/blog/1233/)在Ubuntu16.04環境下進行搭建。 一、安裝docker(Docker CE) 根據docker官網教程(https://docs.docker.

Hadoop叢集環境搭建(雲伺服器,虛擬機器都適用)

為了配置方便,為每臺電腦配置一個主機名: vim /etc/hostname 各個節點中,主節點寫入:master , 其他從節點寫入:slavexx 如果這樣修改不能生效,則繼續如下操作 vim /etc/cloud/cloud.cfg 做preserve_hostname: true 修改 reb

大資料hadoop叢集搭建總結及步驟

CentOS6.5mini版hadoop叢集搭建流程    CentOS 7 系列:        關閉防火牆:systemctl stop firewalld        禁止防火牆開機啟動:systemctl disable firewalld 安裝

Hadoop叢集簡單搭建

修改主機名稱 vim /etc/sysconfig/network 內容:HOSTNAME=master 分別修改其他主機HOSTNAME 修改hosts檔案 vim /etc/hosts 寫入ma

Hadoop叢集搭建(二)配置JAVA環境

軟體環境 作業系統 CentOS 6.4 64bit (Basic Server + 桌面環境) 虛擬機器 VMware Workstation 12.0

適合小白的 Hadoop 叢集配置搭建,非常詳細

準備工作: 1。VMware Workstation 14 中安裝虛擬機器 ,版本為 CentOS7(我搭建的叢集為三臺,安裝一臺克隆兩臺,這裡不做解釋,可自行百度) 2。JDK1.8 ,下載地址為 https://pan.baidu.com/s/15Y

Hadoop叢集搭建(三)配置SSH互信

軟體環境 作業系統 CentOS 6.4 64bit (Basic Server + 桌面環境) 虛擬機器 VMware Workstation 12.0

CDH版本Hadoop叢集環境搭建詳解

1、CDH版本hadoop重新編譯 1.1 為什麼要編譯? 由於cdh給出的hadoop的安裝包並沒有提供帶C程式訪問的介面,所以我們在使用本地庫(本地庫可以用來做壓縮,以及支援C程式等等)的時候就會出問題,所以一般需要自己重新編譯。 1.2 編譯環境的準備

Hadoop叢集搭建(一)網路配置

軟體環境 作業系統 CentOS 6.4 64bit (Basic Server + 桌面環境) 虛擬機器 VMware Workstation 12.0

Hadoop叢集環境搭建 與Hdfs

Hadoop部分 一、修改Hostname 命令:[[email protected] ~] vi /etc/sysconfig/network  開啟檔案後,(每個虛擬機器主機名不同) NETWORKING=yes #使用網路 HOSTNAME=hadoop0

Linux7 下Hadoop叢集使用者管理方案二 CDH5.9.0版本安裝配置

前期準備: 第一步:裝NTP 這個單獨做了一個文件專門寫NTP. 我擦。搞死了。一上午都在搞這個ntp。。。終於搞定了。 第二步:改Hosts檔案 echo '10.10.106.156   edu-bigdata-01.novalocal' > /etc/hos

大資料Hadoop叢集環境搭建(五)

Hadoop環境搭建Hadoop本地模式安裝 Hadoop部署模式 Hadoop部署模式有:本地模式、偽分佈模式、完全分散式模式。 區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。 一、本地模