1. 程式人生 > 其它 >Datahub 0.8.5釋出! 通用的元資料搜尋和發現工具

Datahub 0.8.5釋出! 通用的元資料搜尋和發現工具

近期Datahub 釋出了最新的版本0.8.5,作為LinkedIn開源的通用的元資料搜尋和發現工具。Datahub近一年來有了巨大的發展,也成為了很多公司進行元資料管理的調研方向並進行使用的選擇。

新功能

0.8.5版本中datahub修復了各種穩定性的修復,並改進了多個數據源的元資料獲取方式,包括mongodb、looker、hive、snowflake。

在採用React重構前端以後,datahub的視覺化功能得到了極大的提高。

但對於功能方面的改進,DataHub 也沒有停止。

功能簡介

Datahub目前提供瞭如下功能:

  • 搜尋:全文和高階搜尋,搜尋排名
  • 瀏覽:瀏覽可配置的層次結構
  • 架構
    :表格和 JSON 格式的表和文件架構
  • 粗粒譜系:支援資料集級別的譜系,下游/上游的表格和圖形視覺化
  • 所有權:顯示資料集的所有者,檢視您擁有的資料集
  • 資料集生命週期管理:棄用/取消棄用,表面刪除的資料集並用“已刪除”標記它
  • 機構知識:支援向任何資料集新增自由格式的文件

而新的功能也在開發當中。根據開發路線圖,細粒度的血緣關係也將會很快推出。

架構

不得不提到datahub的架構。

datahub由datahub ingestion,datahub fraontend,datahub serving三部分構成。

分為負責元資料的採集,儲存與視覺化展示。

這種架構讓datahub可以非常靈活的進行各種資料來源的對接與功能改進。

相信隨著社群的不斷活躍,datahub將在元資料管理領域大放異彩!

大資料流動 將於近期持續推出datahub及其他元資料管理,資料血緣等資料治理的落地方案,與實踐過程。歡迎大家關注~

我擁有的都是僥倖,我失去的都是人生。