資料視覺化分析平臺開源方案集錦
B/S 架構的資料視覺化分析平臺開源方案不完全集錦,供各位參考。 排名不分先後。歡迎補充。
kibana
Elasticsearch 專用的資料分析檢索儀表盤。ELK Stack 中的 K。
日誌系統常見的視覺化開源解決方案。
使用 Nodejs+AnglarJs+React 開發,元資料儲存在 ES 的一個索引中。
Elastic公司維護開源,社群非常活躍,持續迭代中。
grafana
視覺化儀表盤和圖形編輯器,是一款常用的指標分析和監控工具。支援Graphite、Elasticsearch、OpenTSDB、Prometheus 和 InfluxDB 作為資料來源。使用 Golang+TypeScript+AngularJS 開發,元資料支援 mysql 和 postgres。
Grafana Labs 公司維護,社群非常活躍,持續迭代中。
Superset
孵化中的準企業級 BI 應用。很多大公司都在內部使用。
支援的資料來源有 MySQL、Postgres、Vertica、Oracle、Microsoft SQL Server、SQLite、Greenplum、Firebird、MariaDB、Sybase、IBM DB2、Exasol、MonetDB、Snowflake、Redshift、Clickhouse、Apache Kylin 等!
使用 Python+Flask+react+jQuery開發,預設使用 sqlite 儲存元資料。 由Airbnb開源,現已歸屬於 Apache 孵化專案,社群非常活躍,持續迭代中。
Zeppelin
支援互動式資料分析的多用途 notebook 編輯器工具,可以接入不同的資料處理引擎和直譯器,包括 Apache Spark,Python,JDBC,Markdown和Shell 等。內建Apache Spark整合。Java+Angular 開發,元資料 notebook 預設使用本地檔案系統儲存在git倉庫中。 由 Apache 開源,持續迭代中,目前版本 0.8。
Hue
開發和訪問SQL、資料應用的工作臺,支援智慧的SQL和任務編輯器、Dashboard 、任務工作流排程、資料瀏覽器。 Hadoop生態系統視覺化利器。
SQL支援: Hive、Impala、MySQL、Oracle、KSQL / Kafka SQL、Solr SQL、Presto、PostgreSQL、Redshift、BigQuery、AWS Athena、Spark SQL、Phoenix、Kylin等。
任務支援:MapReduce、Java、Pig、Sqoop、Shell、DistCp、Spark等。
使用Python+Django+jquery 開發,元資料預設使用 SQLite儲存。
Hue 由 Cloudera Desktop 演化而來,最後 Cloudera 公司將其貢獻給Apache基金會的Hadoop社群。
CBoard
國產BI 報表和dashboard平臺。支援JDBC資料來源,Saiku2.x資料來源,Kylin1.6,Elasticsearch 1.x, 2.x, 5.x。
使用 Java Spring+MyBatis+AngularJS+Bootstrap 開發。元資料使用MySQL5+/SQLServer。
上海楚國公司開源,最近發現官方出了收費的企業版,這個社群版顯得low了很多。
Mining
Python寫的BI應用(Pandas web 介面)
OpenMining 支援基於 ORM SQLAlchemy 的所有資料庫。
使用 Python+Lua+AngularJs+jQuery開發,元資料儲存在MongoDB。
由Avelino 和 UP! Essência開發,master分支的最新 commit 已經是2016年了
Saiku
經典的OLAP開源方案,Saiku是一個模組化分析套件,提供輕量級OLAP,易於嵌入,可擴充套件和可配置。 支援 Mondrian, XMLA 或者 Mongo資料來源連結型別。其提供一個Schema設計器、互動式的報表引擎、展示板和nosql連線技術。使用REST API連線OLAP系統。
使用Java+backbone+jQuery開發,使用JackRabbit管理樹狀元資料。
最初叫做Pentaho分析工具,起初是基於OLAP4J庫用GWT(google web toolkit)包裝的一個前端分析工具。後改名Saiku,Analytical Labs 提供支援。
Metabase
簡單快速的方式使用BI和分析。支援Postgres、MySQL、Druid、SQL Server、Redshift、MongoDB、Google BigQuery、SQLite、H2、Oracle、Vertica、Presto、Snowflake。支援不寫SQL 的方式做視覺化分析。支援docker、jar包方式安裝。使用clojure和node開發,前端使用react框架。元資料預設儲存在H2資料庫中。
社群較為活躍,專案也在持續更新中。
redash
SQL editor+視覺化,支援35種資料來源:Amazon Athena、Amazon DynamoDB、Amazon Redshift、Axibase Time Series Database、Cassandra、ClickHouse、CockroachDB、CSV、Databricks、DB2 by IBM、Druid、Elasticsearch、Google Analytics、Google BigQuery、Google Spreadsheets、Graphite、Greenplum、Hive、Impala、InfluxDB、JIRA、JSON、Apache Kylin、MapD、MemSQL、Microsoft SQL Server、MongoDB、MySQL、Oracle、PostgreSQL、Presto、Prometheus、Python、Qubole、Rockset、Salesforce、ScyllaDB、Shell Scripts、Snowflake、SQLite、TreasureData、Vertica、Yandex AppMetrrica、Yandex Metrica。
後端使用Python 前端使用Angular、React,元資料環境使用PostgreSQL & Redis。
該專案目前也比較活躍,持續迭代中。
SqlPad
不知放在這裡是否合適,SqlPad一款基於web 的 SQL 編輯器,支援MySQL, Postgres, SQL Server, Vertica, Crate, Presto, SAP HANA, 和 Cassandra,支援資料視覺化。但不支援儀表板等功能。使用Nodejs+React開發,元資料儲存在 Nedb中。
由Rick Bergfalk開發,持續維護中。
結語
這些是我收集或調研過的一些資料視覺化開源方案,它們或許在成熟穩定的企業級方案面前顯得支離雜亂,也或許在牛人遍地的大廠內部顯得不夠專業。但它們開發者給提供了優秀的參考案例和二次開發的母版,給小企業帶來了幾乎免費的資料分析和視覺化的能力。由衷的感謝這些令人興奮的專案,感謝為開源奉獻的人們。
由於本人沒有全部體驗和深入調研上述專案,上述簡介僅供參考,以官方為準。