flinkx的web管理介面-LarkMidTable篇
阿新 • • 發佈：2020-10-11
LarkMidTable
gitHub地址: https://github.com/wxgzgl/LarkMidTable
方便推廣開源產品，希望覺得不錯的可以Star專案，可以加入我們一起研發！！！
中文 | English
Lark中文名稱 雲雀，雲代表大資料，雀代表平凡和自由。
LarkMidTable 是一站式開源的資料中臺，實現元資料管理，資料倉庫開發，資料質量管理，資料的視覺化，實現高效賦能資料前臺並提供資料服務的產品。
產品願景
1.滿足許多的小企業，提供一站式的解決方案。
2.做出世界級別，能夠媲美BAT大廠的產品。
3.創造價值，產生價值，讓世界變得更加美好。
技術選型
| 框架名稱 | 框架用途 | 主要功能 |
|---|---|---|
| Dolphin | 任務排程 | Task以DAG形式關聯，實時監控任務的狀態，支援Shell、MR、Spark、SQL、依賴等10多種任務型別，支援每日十萬資料量級任務穩定執行 |
| Flink | 離線和實時計算框架 | Flink實現流批一體化、機器學習（FlinkML）、圖分析（Gelly）、複雜事件處理（CEP）、關係資料處理（Table） |
| Hive | 資料倉庫 | 將結構化的資料檔案對映為一張資料庫表，並提供SQL查詢功能，能將SQL語句語句轉變成MapReduce任務來執行。 |
| Kylin | 分析資料庫 | Kylin 支援 SQL，Kylin 的 SQL on Hbase |
| Kafka | 訊息中介軟體 | 應用解耦、非同步處理、流量削峰、日誌處理、訊息通訊 |
| Kubernetes | 容器部署 | 重新啟動失敗的容器、彈性伸縮、服務的自動發現和負載均衡、滾動升級和一鍵回滾 |
| Zookeeper | 分散式協調服務 | 統一命名服務、配置管理、叢集管理、佇列管理 |
產品架構圖
目前支援的資料庫
| 資料庫型別 | 讀取型別 | 寫入型別 | |
|---|---|---|---|
| 批處理同步 | Mysql | 支援 | 支援 |
| PostgreSql | 支援 | 支援 | |
| Mongodb | 支援 | 支援 | |
| SqlServer | |||
| ClickHouse | |||
| Hive | 支援 | ||
| Hbase | 支援 | 支援 | |
| Hdfs | 支援 | 支援 | |
| ElasticSearch | |||
| Kudu | |||
| Redis | |||
| 流處理同步 | Kafka | ||
| MySQL Binlog | |||
| MongoDB Oplog | |||
| PostgreSQL WAL |
快速開始
請點選 快速開始
前端程式碼 前端程式碼
資源庫 研發資源庫
開發規範 唯品會開發規範
特別鳴謝
本專案在datax-web程式碼的基礎上進行二次重構開發，在此特別感謝datax-web團隊。
技術交流
搜尋QQ群號[678097205]或者掃描下面的二維碼進入LarkMidTable 社群的QQ群，目前正是開源的初期階段，群裡達到91人
