Hadoop 開源排程系統zeus(一)
阿新 • • 發佈:2019-01-04
對海量資料進行處理時,目前大部分公司都採用Hadoop來對資料進行離線處理,但是由於業務場景,經常一個MR或者Hive或者其他形式的任務無法直接完成業務需要,需要任務之間按照特定關係來執行(任務流),例如任務1執行完成之後,才能執行任務2、任務2執行完成之後才能執行任務3和4,在這種情況下需要一套排程系統把各個任務之間的依賴關係串聯起來,
目前來說,有很多開源的系統,最著名的應該算是Apache的Oozie,這裡主要給大家介紹一下阿里開源的一個優秀的排程系統Zeus,GitHub地址:http://github.com/alibaba/zeus,該排程系統是想比較Oozie主要存在如下優點:
1、友好的介面顯示、全中文,配置簡單,Oozie的配置依賴XML檔案,但是Zeus可以直接在介面配置
2、開發中心、排程中心功能完備,不僅可以在上面正式排程任務、還可以在上面進行任務開發
3、支援MR、Hive、Shell等多種任務
4、Zeus支援單機和分散式、在分散式場景下,整個叢集自動切換主備,無需人工干預
5、任務失敗晚上的告警方案
但是該排程系統只支援Hadoop1,且存在一些BUG,不過好訊息是本人意見將其進行了二次開發,且支援Hadoop2,並且對其功能進行了增強,更好的訊息是,本人已經將其開源貢獻出來,GitHub地址如下:https://github.com/michael8335/zeus2
下一篇將介紹一下Zeus的體系架構,敬請期待