工業大資料漫談7:工業大資料通用業務架構
工業大資料一般如何進行處理呢?我畫了一個相對通用的架構圖來解釋一下:
工業大資料在業務邏輯大的分層上和網際網路大資料類似,一般都分為三部分,資料採集層、資料處理層和資料展現層,當然,具體到一個實際案例中,或者說根據不同的應用場景,可以劃分為更多的層次,比如資料處理可以分為元資料管理層、資料互動層、資料分析層等等,如果你有興趣,可以把大資料劃分為N層。在分層的同時,還有許多同等重要的事情,例如安全保障、運維服務、測試規範等等,要都說清楚,基本也就搞不清楚工業大資料是怎麼回事了。所以我們今天只討論通用的、簡化的、適用於一般場景的架構,而且僅僅是業務和邏輯層面的,技術層面的我們後面再詳細說明。
工業大資料系統非常重要的,也是基礎的層次是資料採集。沒有資料採集,所有的強大的、華麗的、技術非常NB的各種東東只能躲在黑暗裡哭泣,英雄無用武之地。在這一層,也是工業大資料與網際網路大資料差異非常大的一層,網際網路大資料的資料採集主要靠使用者的各種操作,例如網頁瀏覽、系統登入、資訊的互動、滑鼠的點選等,而工業大資料的資料來源更加多種多樣,最基本的是用於採集各類工業訊號的感測器,通過感測器的採集,可以獲得機器裝置的執行狀態、環境的指標、操作人的操作行為等各類資訊。除通過感測器採集的資訊,還包括現場的視訊資訊,各類影象裝置拍攝的圖片(例如,巡檢人員用手持裝置拍攝的裝置、環境資訊圖片),語音及聲音資訊(例如,操作人員的通話、裝置運轉的音量等),遙感遙測資訊等等,這些資訊都是通過各類裝置傳輸的。除此之外,還有操作人員手工錄入的各類資訊,採集軟體抓取的企業內網的資訊、網際網路上與企業相關的資訊等等。這些資訊共同構成了資料採集的來源。
資料採集領域也是自動化和資訊化交叉最多的領域,其實也是一般IT從業人員比較頭疼的領域,跨學科嘛,哈!
資料採集結束後,就進入了資料處理階段,這一階段,軟體人員就可以大顯身手了,大部分技術都和網際網路大資料技術差不太多。通常,我們會對採集到的資料先進行一定程度的處理,各類工業協議需要解析、視訊流需要解碼、語音需要識別等等,識別處理好後再對資料進行規範、清洗,洗刷刷完成後,乾淨資料才好用。需要立即處理的資料,例如報警、監測等,直接送到實時處理系統中進行處理,不著急的非急診資料請進入倉庫,按照型別存起來先。然後慢慢分析加工。儲存可能會用到多種資料庫,包括工業實時資料庫、關係型資料庫、地理資料庫、分散式資料庫、非關係型資料庫、記憶體資料庫等,這些資料庫的整合、管理、連結又是工業大資料的一個難題,這個我們放到後面詳細談。今天先聊巨集觀。
洗乾淨、切成塊、冷凍好的紅燒肉,啊,不是,儲存好的工業資料如此之海量,怎麼推送給使用者就成為資料視覺化層要乾的事情了。資料視覺化最近也比較火,原先做報表的,現在都號稱大資料視覺化公司了,其實,單純的大資料視覺化是沒有意義的,沒有對工業業務的深入理解,很難做出讓客戶的滿意的視覺化結果。視覺化包括許多方式,如報表、二維地圖、三維地圖、三維模型、簡訊、手機APP、微信、大屏等等,總之,通過一切手段讓使用者看到自己想看的資料即可。
基於通用業務架構,都涉及到哪些技術環節,需要了解哪些技術呢,咱們下一部分再來談這個問題。