大資料核心技術是什麼?
阿新 • • 發佈:2018-12-10
資料的核心是雲技術和BI。關於大資料和雲端計算的關係人們通常會有誤解,而且也會把它們混起來說,分別做一句話直白解釋就是:雲端計算就是硬體資源的虛擬化;大資料就是海量資料的高效處理。如果做一個更形象的解釋,雲端計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化之後再進行分配使用;大資料則相當於海量資料的“資料庫”。
整體來看,未來的趨勢是,雲端計算作為計算資源的底層,支撐著上層的大資料處理,而大資料的發展趨勢是,實時互動式的查詢效率和分析能力,當前的大資料處理一直在向著近似於傳統資料庫體驗的方向發展。
大資料的4V特性,即型別複雜,海量,快速和價值,其總體架構包括三層,資料儲存,資料處理和資料分析,三層的相互配合,讓大資料最終產生價值。
資料儲存層,從儲存層的搭建來說,關係型資料庫,NoSQL資料庫和hdfs分散式檔案系統三種儲存方式都需要。從使用者來講並不關心底層儲存細節,只關心資料的儲存和讀取的方便性,通過共享資料儲存層可以實現在儲存上的應用和儲存基礎設定的徹底解耦。
資料處理層核心解決問題在於資料儲存出現分散式後帶來的資料處理上的複雜度,海量儲存後帶來了資料處理上的時效性要求,這些都是資料處理層要解決的問題。
資料分析層重點是真正挖掘大資料的價值所在,而價值的挖掘核心又在於資料分析和挖掘。那麼資料分析層核心仍然在於傳統的BI分析的內容。包括資料的維度分析,資料的切片,資料的上鑽和下鑽,cube等。
由此可以看來大資料兩大核心為雲技術和BI,離開雲技術大資料沒有根基和落地可能,離開BI和價值,大資料又變化為捨本逐末,丟棄關鍵目標。簡單來說,就是大資料目標驅動是BI,大資料實施落地式雲技術。