Apache DolphinScheduler 誕生記

DolphinScheduler，簡稱”DS”, 中文名 “小海豚排程”（海豚聰明、人性化，又左右腦可互相換班，終生不用睡覺）。希望 DolphinScheduler 就像它的名字一樣，成為一個“開箱即用”的靈活易用的排程系統。

1概述

DAG 全稱Directed Acyclic Graph，簡稱DAG。工作流中的Task任務以有向無環圖的形式組裝起來，從入度為零的節點進行拓撲遍歷，直到無後繼節點為止。

Apache DolphinScheduler（目前處在孵化階段）是一個分散式、去中心化、易擴充套件的視覺化DAG工作流任務排程系統，其致力於解決資料處理流程中錯綜複雜的依賴關係，使排程系統在資料處理流程中開箱即用。

DolphinScheduler是2019年開源的一個排程系統，在去年美國時間2019年8月29號，分散式任務排程引擎DolphinScheduler（原EasyScheduler）正式通過頂級開源組織Apache基金會的投票決議，以全票通過的優秀表現正式成為了Apache孵化器專案！

2背景

在2017年，易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個排程任務的大資料平臺時，受到ETL複雜的依賴關係、平臺易用性、可維護性及二次開發等方面掣肘，易觀的技術團隊渴望找到一個具有以下功能的資料排程工具：

易於使用，開發人員可以通過非常簡單的拖拽操作構建ETL過程。不僅對於ETL開發人員，無法編寫程式碼的人也可以使用此工具進行ETL操作，例如系統管理員和分析師；
解決“複雜任務依賴”問題，並且可以實時監視ETL執行狀態；
支援多租戶；
支援許多工型別：Shell，MR，Spark，Flink，SQL（mysql，postgresql，hive，sparksql，clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure等；
支援HA和線性可擴充套件性。
易觀技術團隊意識到現有開源專案沒有能夠達到他們要求的，因此決定自行開發這個工具。他們在2017年底設計了DolphinScheduler的主要架構；2018年5月完成第一個內部使用版本，後來又迭代了幾個內部版本後，系統逐漸穩定下來。

3特點

DolphinScheduler提供了許多易於使用的功能，可加快資料ETL工作開發流程的效率。其主要特點如下：

• 通過拖拽以DAG 圖的方式將 Task 按照任務的依賴關係關聯起來，可實時視覺化監控任務的執行狀態；
• 支援豐富的任務型別；
• 支援工作流定時排程、依賴排程、手動排程、手動暫停/停止/恢復，同時支援失敗重試/告警、從指定節點恢復失敗、Kill 任務等操作；
• 支援工作流全域性引數及節點自定義引數設定；
• 支援叢集HA，通過 Zookeeper實現 Master 叢集和 Worker 叢集去中心化；
• 支援工作流執行歷史樹形/甘特圖展示、支援任務狀態統計、流程狀態統計；
• 支援補數，並行或序列回填資料。

4系統架構

DolphinScheduler 是從資料處理的痛點出發，其解決的問題以及優化的方向主要有以下 5 點：

• 視覺化流程設計減輕了開發者配置工作流的複雜度，從繁瑣的基礎配置中解放出來，不用再靠程式設計來配置流程，提升開發效率；

• 擴充套件性強，在當下這樣一個業務變化快、技術迭代頻繁的現在，豐富的任務型別、跨語言和自定義外掛機制良好的可擴充套件性，無疑使這款框架具備了更長的壽命和更廣泛的落地場景；

• 支援工作流定時排程、依賴排程、手動排程、手動暫停 / 停止 / 恢復，同時支援失敗重試 / 告警、從指定節點恢復失敗、Kill 任務等操作

• 支援叢集 HA，通過 Zookeeper 實現 Master 叢集和 Worker 叢集的天然去中心化架構設計，使得系統的高可用性得到保證；

• 通過拖拽以 DAG 圖的方式將 Task 按照任務的依賴關係關聯起來，可實時視覺化監控任務的執行狀態，完善的服務監控系統，方便運維人員快速進行問題定位。

目前，IBM、中國平安、美團、360、招商銀行、科大訊飛、聯通、多點、芒果tv、雪球等多家企業都已經將 Apache DolphinScheduler 應用到了實際場景中。

1.2.x 架構

5開源推進路線

萬丈高樓平地起，從專案啟動的那一刻，我們就確定了開源的目標，從那一刻，開源的種子就種在了每一位專案成員的心中，它是一個使命，
也是所有人的共識和承諾。

要採用模組化的設計，這樣才能便於開源後的協同開發；
要選用開源的技術元件，這樣才能便於開源後讓更多的開發者參與進來；
大道至簡，一定要做到開箱即用，我們排程的名字就叫EasyScheduler。
...
就這樣，伴隨著每一位的手舞足蹈，熱情澎湃和脣槍舌劍，2017年12月在北京市朝陽區恆通商務園B12棟3層辦公室裡，拉開了EasyScheduler的序幕。

使命必達、分秒必爭，每一位夥伴都自動自發、隨時待命。

2018年5月，EasyScheduler在易觀千帆成功上線使用。

2019年3月，開放給外部種子使用者使用，正式釋出第一個開源版本1.0.0。

2019年5月，相繼推出了1.0.1、1.0.2和1.0.3版本。

開源的種子早已種下，只有破土而出，才能紮根於大地。
ASF作為全球最大的開源基金會，一直致力於開源軟體生態的營造，讓軟體技術能夠在全球共享，這是ASF無比耀眼的魅力所在。

我們要紮根ASF，我們要進入到全球最大的開源組織，讓我們的專案在全球共享，於是我們決定正式探索Apache開源孵化之路。

這是一個0到1的問題，這是一個需要拿到入場券資格的問題，那麼如何才能夠進入Apache呢？
一個專案如果希望進入到Apache孵化器，至少需要1名Champion和2名mentor。所以我們的第一個難題就是如何找到champion和mentor.
ASF孵化器擁有導師200多位，然而活躍的中國導師不超過5位，ALC Beijing也沒有成立，我們只能四處詢問，八方求援，經歷了無數次的嘗試，甚至出現了一絲絲的動搖，
但是我們馬上就想到團隊每一個人的付出和努力、想到那些默默支援我們前行的使用者、想到一開始就種在我們心中的開源之夢，
我們堅信有信念就一定有遠方，有夢想就一定有希望，我們堅信彩虹一定會出現，最終我們幸運地迎來了我們的champion和mentor。

至今仍清晰記得初見吳晟老師的場景：吳晟老師用了將近一下午的時間給我們普及了Apache孵化器的一些標準和Apache Way，我們也從最開始的喜悅興奮變為了默默沉思。
第二個迎頭重擊就是Apache的license協議遵從，我們需要檢查所有的依賴是否符合license許可，否則就需要修改，於是又經過了幾個月的重構和升級。
這裡還有一個小插曲，我們在申請進入Apache孵化器過程當中，發現Easy Scheduler不是全球唯一的名字，於是又進行了投票最終選中了
DolphinScheduler.

所幸我們一直堅定著信念，天道酬勤，當美國時間2019年8月29號DolphinScheduler全票通過正式成為Apache孵化器專案的時候，
每個人都洋溢著開心的笑容，但是我們又很快的冷靜下來，真正的Apache Way也許才剛剛開始。

第一次的Apache release，是孵化過程中很重要的一個里程碑。DS用了4個月的時間發出了第一個Apache release，一個很大的原因
就是起初程式碼層面上關注較多，而Apache對於license和商標有著近乎嚴苛的要求，在release的時候會進行非常仔細地檢查，
字型的版權或者某個前端元件使用的license不合規範都會結束一週左右的發版流程。

經歷過第一次Apache release發版後，會對Apache Community Over Code的名言有著更切身的體會，成功的開源專案最重要的因素就是：
社群、社群還是社群。時間彷彿回到了吳晟老師給我們首次講述Apache Way的那個下午：
“Apache 是一個透明、開放的社群，需要讓工作的人來決定；如果一件事情沒有出現在郵件列表中，那它就沒有發生；
Apache 社群是一個公開、平等、精英治理的社群；Apache更多的是給一個思路，很多時候沒有一個固定的規則和流程。。。”

感謝吳晟老師、史少峰老師、陳亮老師、Furkan Kamaci老師和Kevin Ratnasekera老師。
感謝每一位使用過DS的使用者、每一位參與過DS社群貢獻的夥伴，感謝你們願意犧牲自己寶貴的時間與我們一同前行，一個star，一個issue，
一篇文章、一行程式碼、一封郵件列表，參加一場meetup的舉辦，這都是我們一起同在的見證！也期待更多的夥伴加入到DS社群，
我們一起披荊斬棘、一起高歌猛進！一起經歷風雨、一起見證勝利！

歡迎加入Apache dolphinscheduler 社群

• https://github.com/apache/incubator-dolphinscheduler (請記得fork和star)

訂閱郵件列表

• 用自己的郵箱向[email protected]傳送一封郵件，主題和內容任意。

• 接收確認郵件並回復。 完成步驟1後，將收到一封來自[email protected]的確認郵件（如未收到，請確認郵件是否被自動歸入垃圾郵件、推廣郵件、訂閱郵件等資料夾）。然後直接回復該郵件，或點選郵件裡的連結快捷回覆即可，主題和內容任意。

• 接收歡迎郵件。 完成以上步驟後，會收到一封主題為WELCOME to [email protected]的歡迎郵件，至此已成功訂閱Apache DolphinScheduler（Incubating）的郵件列表。

線上試用

如果您不想部署，而是想先體驗一下，那麼我們也提供了線上 Demo (1.2.0 版本)，Demo可以快速體驗一下 Shell、Python等任務型別，受制於伺服器單機硬體條件，有些功能比如不能定時排程，各種資料來源不能體驗外，無其他限制，大家可以聯絡龍飛微信開通 Demo

我們鼓勵任何形式的參與社群，最終成為 Committer 或 PPMC，如：

• 將遇到的問題通過 github 上 issue 的形式反饋出來
• 回答別人遇到的 issue 問題
• 幫助完善文件
• 幫助專案增加測試用例
• 為程式碼添加註釋
• 提交修復 Bug 或者 Feature 的 PR
• 發表應用案例實踐、排程流程分析或者與排程相關的技術文章
• 幫助推廣 DolphinScheduler，參與技術大會或者 meetup 的分享等

歡迎加入貢獻的隊伍，加入開源從提交第一個 PR 開始

• 比如新增程式碼註釋或找到帶有 ”easy to fix” 標記或一些非常簡單的 issue(拼寫錯誤等) 等等，先通過第一個簡單的 PR 熟悉提交流程
  

注：貢獻不僅僅限於 PR 哈，對促進專案發展的都是貢獻

相信參與 DolphinScheduler，一定會讓您從開源中受益！

如何成為 ALC Beijing的成員

ALC Beijing 歡迎任何人的參與！不設定任何門檻，只要有意願傳播 Apache 以及開源之道的小夥伴都可以參與進來！具體的方式如下：

• 加入我們的活動。大家可以通過關注ALC Beijing公眾號獲取最新的活動資訊，並參加我們的線上或者線下的活動。
• 成為ALC Beijing會員。ALC Beijing作為一個公益組織，需要大量的志願者的來幫助協調和組織活動。志願者成為會員的原則和Apache軟體基金的其他專案發展Committer以及PMC成員的方式一樣, 基於志願者在社群中的貢獻，採用投票邀請方式成為ALC Beijing 會員。
  歡迎關注"ALC Beijing"公眾號

參考連結

[1] https://dolphinscheduler.apache.org/zh-cn/index.html

[2] https://www.infoq.cn/article/SeODu1bwlyjCUR70t6KD

感謝花時間閱讀，謝謝！