1. 程式人生 > >如何用數據倉庫管理海量數據?直接訪問數據倉庫數據時的4個限制

如何用數據倉庫管理海量數據?直接訪問數據倉庫數據時的4個限制

數據倉庫

有時候數據倉庫中需要進行管理的大量數據是一個重要問題。建立簡要記錄是大量數據管理的一種有效技術。在把操作型環境中的詳細記錄轉入數據倉庫中簡要記錄的過程中,數據量的降低是顯著的。一般通過建立簡要記錄可以使數據量降低2~3個數量級。由於這種可能性,創建簡要記錄是每一個數據體系結構設計人員手中很強有力的一種技術。事實上,與其他設計或數據管理技術相比較,要想在數據倉庫中有效地管理大量數據,那麽建立簡要記錄應該是數據倉庫體系結構設計者應該考慮的首選技術和最強有力的技術。


然而,采用這種方式也有其不足之處。當采用簡要記錄方式的時候,必須清楚的是這樣將會失去數據倉庫的一些能力或功能。首先,只要實現數據的聚集,信息的詳細程度就會降低。但有時,詳細程度的降低不一定是壞事。這時的設計者必須能夠保證詳細程度的降低對於利用該數據倉庫進行決策支持的分析人員來講是無關緊要的。數據倉庫構造者保證所丟失的細節並不特別重要的第一道防線(最簡單有效的)就是重復建立簡要記錄。這樣設計人員就有了很好地控制改變的靈活性。簡要記錄內容設計的第一遍為第二遍提供依據,依此類推。


只要數據倉庫開發過程中每一遍走得很小,很快。就不至於在簡要記錄中忽略對終端用戶來講是重要的某種要求。但是當簡要記錄的創立和開發的第一遍走得非常大,設計者可能會把他們自己帶入危險的境地。此時,由於數據倉庫相當大,它的內容不能被仔細改動而導致重要細節的忽略,使設計人員可能使自己陷於難堪的境地。


可以保證重要細節在簡要記錄的創建過程中不被丟失的第二種方法(可以和第一種共同使用)是在建立簡要記錄的同時建立歷史細節的備用層。

技術分享

這種備用的細節並不會被經常用到。它被存儲在較慢的便宜的順序讀取的介質上。在任何情況下都不容易訪問到,使用起來相當麻煩。但是一旦需要的話,細節確實是存在的。當管理部門確實需要這些信息的時候,它們總可以被找到,盡管需要花費一些時間和金錢。


數據倉庫數據的直接訪問


在那些最簡單的動態的數據回流,即由操作型環境對數據倉庫環境進行直接的數據訪問。在操作型環境中向屬於數據倉庫的數據提出了訪問請求。這個請求被傳送到數據倉庫中,然後找到所需要的數據,接著再傳輸到操作型環境中。很明顯,從動態的角度來看,傳送過程的實現不會是簡單的。

技術分享


在直接訪問數據倉庫數據的過程中,有一些嚴格的、不能讓步的限制。


下面列出了一些這類限制。


■ 從響應時間的角度來講,這個請求必須能夠忍受冗長的響應時間。它可能在經過24個小時後才被響應,這意味著請求數據倉庫數據的操作處理並不具有在線特性。

■ 所請求的數據量必須是最小量的。數據的傳輸是以字節計的,而不是兆字節或千兆字節。

■ 管理數據倉庫所用到的技術必須與管理操作型環境所用到的技術一致,如容量、協議等。

■ 從數據倉庫取得的準備傳輸到操作型環境的數據必須不做或做最小的格式化。

這些條件限制了數據從數據倉庫到操作型環境的數據傳送。很容易明白在數據的直接訪問時為什麽僅僅有少量的數據回流。


本文出自 “中科院計算所培訓” 博客,謝絕轉載!

如何用數據倉庫管理海量數據?直接訪問數據倉庫數據時的4個限制