Datahub 0.8.5釋出! 通用的元資料搜尋和發現工具
阿新 • • 發佈:2021-07-09
近期Datahub 釋出了最新的版本0.8.5,作為LinkedIn開源的通用的元資料搜尋和發現工具。Datahub近一年來有了巨大的發展,也成為了很多公司進行元資料管理的調研方向並進行使用的選擇。
新功能
0.8.5版本中datahub修復了各種穩定性的修復,並改進了多個數據源的元資料獲取方式,包括mongodb、looker、hive、snowflake。
在採用React重構前端以後,datahub的視覺化功能得到了極大的提高。
但對於功能方面的改進,DataHub 也沒有停止。
功能簡介
Datahub目前提供瞭如下功能:
- 搜尋:全文和高階搜尋,搜尋排名
- 瀏覽:瀏覽可配置的層次結構
- 架構
- 粗粒譜系:支援資料集級別的譜系,下游/上游的表格和圖形視覺化
- 所有權:顯示資料集的所有者,檢視您擁有的資料集
- 資料集生命週期管理:棄用/取消棄用,表面刪除的資料集並用“已刪除”標記它
- 機構知識:支援向任何資料集新增自由格式的文件
而新的功能也在開發當中。根據開發路線圖,細粒度的血緣關係也將會很快推出。
架構
不得不提到datahub的架構。
datahub由datahub ingestion,datahub fraontend,datahub serving三部分構成。
分為負責元資料的採集,儲存與視覺化展示。
這種架構讓datahub可以非常靈活的進行各種資料來源的對接與功能改進。
相信隨著社群的不斷活躍,datahub將在元資料管理領域大放異彩!
大資料流動 將於近期持續推出datahub及其他元資料管理,資料血緣等資料治理的落地方案,與實踐過程。歡迎大家關注~
我擁有的都是僥倖,我失去的都是人生。