1. 程式人生 > >一、ETL實踐之資料視覺化架構

一、ETL實踐之資料視覺化架構

開篇心聲:

  不管是學習新知識,還是遇到各種難題,總能在技術論壇找到經驗帖子。一直享受大家提供的幫助,而自己沒有任何輸出,實在過意不去。我相信技術是經驗的交流,思維的碰撞。

  這是我一次寫技術分享文章,我想用系列文章介紹用Mongodb、Kettle、Metabase這三個開源軟體在資料視覺化實踐中的一些關聯問題,Mongodb指令碼在不同軟體中的應用注意事項。

 

先展示下我所用技術架構:

  資料來源:Mongodb資料庫叢集、Excel,業務端用的資料來源,資料抽取只能相容。 

  ETL工具:Kettle,大多數ETL工具資料來源對關係型資料庫支援友好,而對NoSQL支援就有點差強人意。Kettle在BigData裡集成了Mongodb元件,雖然用起來不如SQL資料連線,但還算穩定,支援Json格式的Mongodb指令碼查詢。

  資料倉庫:Mongodb、PostgreSQL,資料來源其實很靈活。資料體量達到PB及以上,建議直接用雲資料倉庫;資料量不大的,用自己熟悉的庫就好。

  視覺化:Echart、Metabase,Echart是百度開源的Javascript視覺化外掛,Metabase是國外的開源資料視覺化軟體。試過FineBI,其功能和圖表比Metabase更豐富。不過,FIneBI免費版僅支援兩個節點同時訪問,自帶資料來源不支援Mongodb資料來源。應用市場裡有付費Mongodb連線外掛,公司一看25000,而且需要經過FineReport轉換,怕掉坑果斷跳過。

  Kettle、Metabase執行需要JAVA環境。

  整體技術架構圖1所示:

  

 

圖 1

&n