1. 程式人生 > >資料倉庫建立步驟

資料倉庫建立步驟

轉載:https://www.cnblogs.com/HondaHsu/p/4312549.html

1.系統分析,確定主題

確定一下幾個因素:
    ·操作出現的頻率,即業務部門每隔多長時間做一次查詢分析。
    ·在系統中需要儲存多久的資料,是一年、兩年還是五年、十年。
    ·使用者查詢資料的主要方式,如在時間維度上是按照自然年,還是財政年。
    ·使用者所能接受的響應時間是多長、是幾秒鐘,還是幾小時。

2.選擇滿足資料倉庫系統要求的軟體平臺

選擇合適的軟體平臺,包括資料庫、建模工具、分析工具等。有許多因素要考慮,如系統對資料量、響應時間、分析功能的要求等,以下是一些公認的選擇標準:
    ·廠商的背景和支援能力,能否提供全方位的技術支援和諮詢服務。
    ·資料庫對大資料量(TB級)的支援能力。
    ·資料庫是否支援並行操作。
    ·能否提供資料倉庫的建模工具,是否支援對元資料的管理。
    ·能否提供支援大資料量的資料載入、轉換、傳輸工具(ETT)。
    ·能否提供完整的決策支援工具集,滿足資料倉庫

中各類使用者的需要。

3.建立資料倉庫的邏輯模型

具體步驟如下:
    (1)確定建立資料倉庫邏輯模型的基本方法。
    (2)基於主題檢視,把主題檢視中的資料定義轉到邏輯資料模型中。
    (3)識別主題之間的關係。
    (4)分解多對多的關係。
    (5)用正規化理論檢驗邏輯資料模型。
    (6)由使用者稽核邏輯資料模型。

4.邏輯資料模型轉化為資料倉庫資料模型

具體步驟如下:
    (1)刪除非戰略性資料:

資料倉庫模型中不需要包含邏輯資料模型中的全部資料項,某些用於操作處理的資料項要刪除。
    (2)增加時間主鍵:資料倉庫中的資料一定是時間的快照,因此必須增加時間主鍵。
    (3)增加派生資料:對於使用者經常需要分析的資料,或者為了提高效能,可以增加派生資料。
    (4)加入不同級別粒度的彙總資料:資料粒度代表資料細化程度,粒度越大,資料的彙總程度越高。粒度是資料倉庫設計的一個重要因素,它直接影響到駐留在資料倉庫中的資料量和可以執行的查詢型別。顯然,粒度級別越低,則支援的查詢越多;反之,能支援的查詢就有限。

5.資料倉庫資料模型優化

資料倉庫設計時,效能是一項主要考慮因素。在資料倉庫建成後,也需要經常對其效能進行監控,並隨著需求和資料量的變更進行調整。
優化資料倉庫設計的主要方法是:
    ·合併不同的資料表。
    ·通過增加彙總表避免資料的動態彙總。
    ·通過冗餘欄位減少表連線的數量,不要超過3~5個。
    ·用ID程式碼而不是描述資訊作為鍵值。
    ·對資料表做分割槽。

6.資料清洗轉換和傳輸

由於業務系統所使用的軟硬體平臺不同,編碼方法不同,業務系統中的資料在載入到資料倉庫之前,必須進行資料的清洗和轉換,保證資料倉庫中資料的一致性。
    在設計資料倉庫的資料載入方案時,必須考慮以下幾項要求:
    ·載入方案必須能夠支援訪問不同的資料庫和檔案系統。
    ·資料的清洗、轉換和傳輸必須滿足時間要求,能夠在規定的時間範圍內完成。
    ·支援各種轉換方法,各種轉換方法可以構成一個工作流。
    ·支援增量載入,只把自上一次載入以來變化的資料載入到資料倉庫

7.開發資料倉庫的分析應用

建立資料倉庫的最終目的是為業務部門提供決策支援能力,必須為業務部門選擇合適的工具實現其對資料倉庫中的資料進行分析的要求。
    資訊部門所選擇的開發工具必須能夠:
    ·滿足使用者的全部分析功能要求。資料倉庫中的使用者包括了企業中各個業務部門,他們的業務不同,要求的分析功能也不同。如有的使用者只是簡單的分析報表,有些使用者則要求做預測和趨勢分析。
    ·提供靈活的表現方式。分析的結果必須能夠以直觀、靈活的方式表現,支援複雜的圖表。使用方式上,可以是客戶機/伺服器方式,也可以是瀏覽器方式。
    事實上,沒有一種工具能夠滿足資料倉庫的全部分析功能需求,一個完整的資料倉庫系統的功能可能是由多種工具來實現,因此必須考慮多個工具之間的介面和整合性問題,對於使用者來說,希望看到的是一致的介面。

8.資料倉庫的管理

只重視資料倉庫的建立,而忽視資料倉庫的管理必然導致資料倉庫專案的失敗。資料倉庫管理主要包括資料庫管理和元資料管理。
    資料庫管理需要考以下幾個方面:
    ·安全性管理。資料倉庫中的使用者只能訪問到他的授權範圍內的資料,資料在傳輸過程中的加密策略。
    ·資料倉庫的備份和恢復。資料倉庫的大小和備份的頻率直接影響到備份策略。
    ·如何保證資料倉庫系統的可用性,硬體還是軟體方法。
    ·資料老化。設計資料倉庫中資料的存放時間週期和對過期資料的老化方法,如歷史資料只儲存彙總資料,當年資料儲存詳細記錄。
    然而,元資料管理貫穿於整個系統的建設過程中,元資料是描述資料的資料。在資料採集階段,元資料主要包括下列資訊:
       ·源資料的描述定義:型別、位置、結構。
       ·資料轉換規則:編碼規則、行業標準。
       ·目標資料倉庫的模型描述:星型/雪花模型定義,維/事實結構定義。
       ·源資料到目標資料倉庫的對映關係:函式/表示式定義。
       ·程式碼:生成轉換程式、自動載入程式等。
    在資料管理階段,元資料主要包括下列資訊:
    ·彙總資料的描述:彙總/聚合層次、物化檢視結構定義。
    ·歷史資料儲存規則:位置、儲存粒度。
    ·多維資料結構描述:立方體定義、維結構、度量值、鑽取層次定義等。
       在資料展現階段,元資料主要包括以下資訊:
       ·報表的描述:報表結構的定義。
       ·統計函式的描述:各類統計分析函式的定義。
       ·結果輸出的描述:圖、表輸出的定義。
    元資料不但是獨立存放,而且對使用者是透明的,標準元資料之間可以互相轉換