1. 程式人生 > >玩轉ambari之一----ambari原理和架構

玩轉ambari之一----ambari原理和架構

Ambari 跟 Hadoop 等開源軟體一樣,也是 Apache 基金會的一個頂級專案。目前最新的釋出版本是 2.5.2。就 Ambari 的作用來說,就是建立、管理、監視 Hadoop 的叢集,但是這裡的 Hadoop 是廣義,指的是 Hadoop 整個生態圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而並不僅是特指 Hadoop。並且,Ambari 現在所支援的平臺元件也越來越多,例如流行的 Spark,Storm 等計算框架,以及資源排程平臺 YARN 等,我們都能輕鬆地通過 Ambari 來進行部署和監控。用一句話來說,Ambari 就是為了讓 Hadoop 以及相關的大資料軟體更容易使用的一個工具。

Ambari 自身也是一個分散式架構的軟體,主要由兩部分組成:Ambari Server 和 Ambari Agent。簡單來說,使用者通過 Ambari Server 通知 Ambari Agent 安裝對應的軟體;Agent 會定時地傳送各個機器每個軟體模組的狀態給 Ambari Server,最終這些狀態資訊會呈現在 Ambari 的 GUI,方便使用者瞭解到叢集的各種狀態,並進行相應的維護。

基本架構如圖:

Ambari Server 會讀取 Stack 和 Service 的配置檔案。當用 Ambari 建立叢集的時候,Ambari Server 傳送 Stack 和 Service 的配置檔案以及 Service 生命週期的控制指令碼到 Ambari Agent。Agent 拿到配置檔案後,會下載安裝公共源裡軟體包(Redhat,就是使用 yum 服務)。安裝完成後,Ambari Server 會通知 Agent 去啟動 Service。之後 Ambari Server 會定期傳送命令到 Agent 檢查 Service 的狀態,Agent 上報給 Server,並呈現在 Ambari 的 GUI 上。

Ambari Server 支援 Rest API,這樣可以很容易的擴充套件和定製化 Ambari。甚至於不用登陸 Ambari 的 GUI,只需要在命令列通過 curl 就可以控制 Ambari,以及控制 Hadoop 的 cluster。具體的 API 可以參見 Apache Ambari 的官方網頁 API reference。

對於安全方面要求比較苛刻的環境來說,Ambari 可以支援 Kerberos 認證的 Hadoop 叢集。

更詳細的架構瞭解,可參考:http://www.toxingwang.com/hadoop/2356.html 

相關推薦

ambari之一----ambari原理架構

Ambari 跟 Hadoop 等開源軟體一樣,也是 Apache 基金會的一個頂級專案。目前最新的釋出版本是 2.5.2。就 Ambari 的作用來說,就是建立、管理、監視 Hadoop 的

pip 、虛擬環境安裝包,包括在線或離線安裝各種package

單個 package n) 三方 rec 開發 不能 格式 uninstall 一 創建虛擬環境C:\Users\Administrator>cd D:\00\pystudyC:\Users\Administrator>d:D:\00\pystudy>py

KafkaIO與Flink微服務架構的分布式事務

http 就是 req 網上購物 恢復 其它 本質 強一致 上鎖 一、盡量在業務上和技術上避免分布式事務 顯而易見,微服務架構十分的流行,特別是對於電商領域來說。他的優點就不多說了,但是隨著集群機器的增加,集群的規模也越來越大,隨著集群搭載的服務規模也越來越大,導致事務的

【HBase-2】HBase的原理架構

一、邏輯儲存模型    HBase以表的形式儲存資料,表由行和列組成。列劃分為若干個列族,     RowKey:Hbase使用Rowkey來唯一的區分某一行的資料。如圖中"rk001"   &nb

Koa -- koa-router原理解析

一、前言   Koa為了保持自身的簡潔,並沒有捆綁中介軟體。但是在實際的開發中,我們需要和形形色色的中介軟體打交道,本文將要分析的是經常用到的路由中介軟體 -- koa-router。   如果你對Koa的原理還不瞭解的話,可以先檢視Koa原理解析。 二、koa-router概述   koa-rout

Pandas資料(七) -- SeriesDataFrame去重

資料分析彙總學習 import numpy as np import pandas as pd from pandas import Series, DataFrame df = pd.read

OpenCV之一:關於OpenCV學習版本的選擇

作為機器視覺領域的開發人員,你一定聽說過OpenCV,它作為一款強大的開源計算機視覺處理庫,得到了廣泛的發展,目前它的最新版本已經到了3.1版本,為了學習OpenCV,首先要選擇一個合適的版本,版本太老,你將不能用到它的一些新的特性,而版本太新,有些問題可能很難在網際網路上

Eclipse — 自動生成settergetter方法

        我們在程式開發過程中,往往要編寫這樣的類:類的部分或者全部屬性不希望讓外部世界直接訪問,而不用public欄位修飾。這樣,方法呼叫成了訪問這些屬性的唯一途徑。JavaBean就是一個很好的例子,其嚴格遵守面向物件的設計邏輯,所有屬性都是private。對於任

徹底比特幣地址私匙

比特幣地址和私匙是所有比特幣初學者面對的一大難題,再加上那一串超長的字串,讓人更是摸不到頭腦。 現在編者以問答的形式,帶你一步步的揭開比特幣地址和私匙的面紗。還不知道什麼是比特幣地址和私匙的同學請點這裡問題一、比特幣錢包由什麼組成?答 我們知道,比特幣地址和私匙組成了比特

matlab之一維 gauss 數值積分公式及matlab源代碼

tla 定積分 而已 qq 群 matlab UNC 討論 log 數值積分 目錄 標準區間 一般區間 數值實驗 實驗一 實驗二

matlab之一維 gauss 數值積分公式及matlab原始碼

目錄 標準區間 一般區間 數值實驗 實驗一 實驗二 總結 下節預告 matlab程式碼 在數值分

OpenStack--6>CPU 記憶體虛擬化原理

玩轉OpenStack--6>CPU 和記憶體虛擬化原理 前面我們成功地把 KVM 跑起來了,有了些感性認識,這個對於初學者非常重要。不過還不夠,我們多少得了解一些 KVM 的實現機制,這對以後的工作會有幫助。 CPU 虛擬化 KVM 的虛擬化是需要 CPU 硬體

Windows服務系列——Debug、Release版本的註冊解除安裝,及其原理

Windows服務Debug版本 註冊 Services.exe -regserver 解除安裝 Services.exe -unregserver Windows服務Release版本 註冊 Services.exe -service 解除安裝 Services

Android Camera開發(二):使用TextureViewSurfaceTexture預覽Camera 基礎拍照demo

處理 pict all sans 格式 facet ace ets nth Google自Android4.0出了TextureView。為什麽推出呢?就是為了彌補Surfaceview的不足。另外一方面也是為了平衡GlSurfaceView。當然這是本人揣度的。關於Te

none host 網絡的適用場景 - 每天5分鐘 Docker 容器技術(31)

docker 教程 容器 本章開始討論 Docker 網絡。我們會首先學習 Docker 提供的幾種原生網絡,以及如何創建自定義網絡。然後探討容器之間如何通信,以及容器與外界如何交互。Docker 網絡從覆蓋範圍可分為單個 host 上的容器網絡和跨多個 host 的網絡,本章重點討論前一種。對於

樹莓派——升級NOOBS離線安裝介質到Raspbian 4.9Windows 10 IoT C

note log 基本 方法 打開 通過 gawk adc zip解壓 為樹莓派做系統升級是我一直想做的事。時間總是覺得不夠,於是也好久沒有碰。 直到前幾天MVP群裏有兄弟問大家的github來互相關註,我才突然想起之前寫過的制作離線安裝介質的文章:http://haoh

()Java 詳解 JVM 工作原理流程

移植 獲得 代碼 適配 調用 tac 階段 main方法 等待 作為一名Java使用者,掌握JVM的體系結構也是必須的。說起Java,人們首先想到的是Java編程語言,然而事實上,Java是一種技術,它由四方面組成:Java編程語言、Java類文件格式、Java虛擬機和Ja

從零開始JMX(一)——簡介Standard MBean

pos cor csdn comm art order clas post tex 從零開始玩轉JMX(一)——簡介和Standard MBeanJMX超詳細解讀 參考資料JMX整理JMX簡介http://blog.csdn.net/DryKillLogic/articl

macvlan 網絡隔離連通 - 每天5分鐘 Docker 容器技術(57)

不能 數據包 ann float bsp 分鐘 uci tables mage 上一節我們創建了兩個 macvlan 並部署了容器,網絡結構如下: 本節驗證 macvlan 之間的連通性。 bbox1 能 ping 通 bbox3,bbox2

容器在 Weave 中如何通信隔離?- 每天5分鐘 Docker 容器技術(65)

docker 教程 容器 上一節我們分析了 Weave 的網絡結構,今天討論 Weave 的連通和隔離特性。首先在host2 執行如下命令:weave launch 192.168.56.104這裏必須指定 host1 的 IP 192.168.56.104,這樣 host1 和 host2 才能