平臺管理(大資料):Hue、Ooize、Ambari概述
Hue
Hue是一個開源的Apache Hadoop UI系統,通過使用Hue我們可以在瀏覽器端的Web控制檯上與Hadoop叢集進行互動來分析處理資料,例如操作HDFS上的資料,執行MapReduce Job等等。
(1) 基於檔案瀏覽器(File Browser)訪問HDFS
(2) 基於Hive編輯器來開發和執行Hive查詢
(3) 支援基於Impala的應用進行互動式查詢
(4) 支援Spark編輯器和儀表板(Dashboard)
(5) 支援Oozie編輯器,可以通過儀表板提交和監控Workflow、Coordinator和Bundle
(6) 支援HBase瀏覽器,能夠視覺化資料、查詢資料、修改
(7) 支援Metastore瀏覽器,可以訪問Hive的元資料,以及HCatalog
(8) 支援Job瀏覽器,能夠訪問MapReduce Job(MR1/MR2-YARN)
(9) 支援Job設計器,能夠建立MapReduce/Streaming/Java Job
(10) 支援Sqoop 2編輯器和儀表板(Dashboard)
(11) 支援ZooKeeper瀏覽器和編輯器
Ooize
在Hadoop中執行的任務有時候需要把多個Map/Reduce作業連線到一起,這樣才能夠達到目的。[1]在Hadoop生態圈中,有一種相對比較新的元件叫做Oozie[2],它讓我們可以把多個Map/Reduce作業組合到一個邏輯工作單元中,從而完成更大型的任務。
Oozie是一種Java Web應用程式,它執行在Java servlet容器——即Tomcat——中,並使用資料庫來儲存以下內容:
1)工作流定義。
2)當前執行的工作流例項,包括例項的狀態和變數。
oozie是基於hadoop的排程器,以xml的形式寫排程流程,可以排程mr,pig,hive,shell,jar等等。
Ambari
Ambari就是建立、管理、監視 Hadoop 的叢集,但是這裡的 Hadoop 是廣義,指的是 Hadoop 整個生態圈,(例如 Hive,Hbase,Sqoop,Zookeeper 等),而並不僅是特指 Hadoop。用一句話來說,Ambari 就是為了讓 Hadoop