1. 程式人生 > >平臺管理(大資料):Hue、Ooize、Ambari概述

平臺管理(大資料):Hue、Ooize、Ambari概述

 Hue

Hue是一個開源的Apache Hadoop UI系統,通過使用Hue我們可以在瀏覽器端的Web控制檯上與Hadoop叢集進行互動來分析處理資料,例如操作HDFS上的資料,執行MapReduce Job等等。

(1) 基於檔案瀏覽器(File Browser)訪問HDFS

(2) 基於Hive編輯器來開發和執行Hive查詢

(3) 支援基於Impala的應用進行互動式查詢

(4) 支援Spark編輯器和儀表板(Dashboard

(5) 支援Oozie編輯器,可以通過儀表板提交和監控WorkflowCoordinatorBundle

(6) 支援HBase瀏覽器,能夠視覺化資料、查詢資料、修改

HBase

(7) 支援Metastore瀏覽器,可以訪問Hive的元資料,以及HCatalog

(8) 支援Job瀏覽器,能夠訪問MapReduce JobMR1/MR2-YARN

(9) 支援Job設計器,能夠建立MapReduce/Streaming/Java Job

(10) 支援Sqoop 2編輯器和儀表板(Dashboard

(11) 支援ZooKeeper瀏覽器和編輯器

Ooize

Hadoop中執行的任務有時候需要把多個Map/Reduce作業連線到一起,這樣才能夠達到目的。[1]Hadoop生態圈中,有一種相對比較新的元件叫做Oozie[2],它讓我們可以把多個Map/Reduce作業組合到一個邏輯工作單元中,從而完成更大型的任務。

Oozie是一種Java Web應用程式,它執行在Java servlet容器——即Tomcat——中,並使用資料庫來儲存以下內容:

1工作流定義。

2)當前執行的工作流例項,包括例項的狀態和變數。

oozie是基於hadoop的排程器,以xml的形式寫排程流程,可以排程mrpighiveshelljar等等。

Ambari

Ambari就是建立、管理、監視 Hadoop 的叢集,但是這裡的 Hadoop 是廣義,指的是 Hadoop 整個生態圈,(例如 HiveHbaseSqoopZookeeper 等),而並不僅是特指 Hadoop。用一句話來說,Ambari 就是為了讓 Hadoop

以及相關的大資料軟體更容易使用的一個工具。