資料開發流程

​ 資料開發的總體流程包括原資料、資料採集、資料儲存、資料分析與處理、資料同步和資料視覺化，如下圖所示：

• 資料來源

  業務系統每天會產生大量結構化的資料，這些資料都儲存在業務系統所對應的資料庫中，包括MySQL、Oracle等型別；

• 資料採集(資料整合的資料採集) 和資料儲存

  對資料進行資料分析計算之前，先對業務資料進行採集和儲存；

• 資料開發

  資料開發主要是資料離線計算，對資料進行加工處理、分析與挖掘分析與挖掘（資料分析、資料探勘）等處理。我們通過任務排程對各資料計算任務轉化為工作流進行排程執行；

• 資料同步

  分析與處理後的結果資料，需同步匯出至業務系統，以供業務人員使用其分析的價值；

• 資料管理

  資料管理（Data Management）支援MySQL、SQL Server、PostgreSQL、MongoDB、Redis等關係型資料庫和NoSQL的資料庫管理。它是一種集資料管理、結構管理、使用者授權、安全審計、資料趨勢、資料追蹤、BI圖表、效能與優化和伺服器管理於一體的資料管理服務。使用者使用資料管理服務實現易用的資料庫和伺服器統一管理入口，讓資料更安全、管理更高效、資料價值更清晰。

• 資料服務

  資料服務旨在為企業搭建統一的資料服務匯流排，幫助企業統一管理對內對外的API服務。資料服務提供了快速將資料表生成資料API的能力，同時支援使用者將現有的API快速註冊到資料服務平臺以統一管理和釋出。

• 資料運維

  Pandora資料工廠的運維平臺，提供任務監控、叢集監控、Kafka監控等運維手段，保證系統的正常執行和異常報警；

• 視覺化

  通過antv、echart等視覺化技術手段，通過報表、地理資訊系統等多種展現方式來展示與分享大資料分析、處理後的成果。

原創詩詞一首

	         蜀相
花近樓高傷客心，近來多病難登臨。
錦江兩岸自春色，丞相祠前變古今。
三分割據囊宇策，七出祁山事未勤。
報君不為封侯事，日夜聊聞梁父吟。