1. 程式人生 > 其它 >BI、資料倉庫、OLTP、OLAP

BI、資料倉庫、OLTP、OLAP

一、BI  

  商業智慧(Business Intelligence,簡稱:BI),又稱商業智慧或商務智慧,指用現代資料倉庫技術、線上分析處理技術、資料探勘和資料展現技術進行資料分析以實現商業價值。

  商業智慧的概念在1996年最早由加特納集團(Gartner Group)提出,加特納集團將商業智慧定義為:商業智慧描述了一系列的概念和方法,通過應用基於事實的支援系統來輔助商業決策的制定。商業智慧技術提供使企業迅速分析資料的技術和方法,包括收集、管理和分析資料,將這些資料轉化為有用的資訊,然後分發到企業各處。

二、資料倉庫

  Data Warehouse,可簡寫為DW或DWH。資料倉庫,是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。它是單個數據儲存,出於分析性報告和決策支援目的而建立。 為需要業務智慧的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。

  資料倉庫是面向主題的;操作型資料庫的資料組織面向事務處理任務,而資料倉庫中的資料是按照一定的主題域進行組織。主題是指使用者使用資料倉庫進行決策時所關心的重點方面,一個主題通常與多個操作型資訊系統相關。資料倉庫是整合的,資料倉庫的資料有來自於分散的操作型資料,將所需資料從原來的資料中抽取出來,進行加工與整合,統一與綜合之後才能進入資料倉庫

  概括來說,資料倉庫系統是指具有綜合企業資料的能力,能夠對大量企業資料進行快速和準確分析,輔助做出更好的商業決策的系統。它本身包括三部分內容:

1、資料層:實現對企業操作資料的抽取、轉換、清洗和彙總,形成資訊資料,並存儲在企業級的中心資訊資料庫中。

2、應用層:通過聯機分析處理,甚至是資料探勘等應用處理,實現對資訊資料的分析。

3、表現層:通過前臺分析工具,將查詢報表、統計分析、多維聯機分析和資料發掘的結論展現在使用者面前。

  從應用角度來說,資料倉庫系統除了聯機分析處理外,還可以採用傳統的報表,或者採用數理統計和人工智慧等資料探勘手段,涵蓋的範圍更廣;就應用範圍而言,聯機分析處理往往根據使用者分析的主題進行應用分割,例如:銷售分析、市場推廣分析、客戶利潤率分析等等,每一個分析的主題形成一個OLAP應用,而所有的OLAP應用實際上只是資料倉庫系統的一部分。

三、OLTP

  On-Line Transaction Processing聯機事務處理(OLTP),也稱為面向交易的處理,其基本特徵是前臺接收的使用者資料可以立即傳送到計算中心進行處理,並在很短的時間內給出處理結果,是對使用者操作快速響應的方式之一。

  聯機事務處理系統是一種以事務元作為資料處理的單位、人機互動的計算機應用系統。它能對資料進行即時更新或其他操作,系統內的資料總是保持在最新狀態。使用者可將一組保持資料一致性的操作序列指定為一個事務元,通過終端、個人計算機或其他裝置輸入事務元,經系統處理後返回結果,應用於飛機訂票、銀行出納、股票交易、超市銷售、飯店前後管理等。

  這樣做的最大優點是可以即時地處理輸入的資料,及時地回答。也稱為實時系統(Real time System)。衡量聯機事務處理結果的一個重要指標是系統性能,具體體現為實時請求-響應時間(Response Time),即使用者在終端上輸入資料之後,到計算機對這個請求給出答覆所需要的時間。OLTP是由前臺、應用、資料庫共同完成的,處理快慢以及處理程度取決於資料庫引擎、伺服器、應用引擎。

  OLTP資料庫旨在使事務應用程式僅寫入所需的資料,以便儘快處理單個事務。

  OLTP主要用來記錄某類業務事件的發生,如購買行為,當行為產生後,系統會記錄是誰在何時何地做了何事,這樣的一行(或多行)資料會以增刪改的方式在資料庫中進行資料的更新處理操作,要求實時性高、穩定性強、確保資料及時更新成功,像公司常見的業務系統如ERP,CRM,OA等系統都屬於OLTP。

  當資料積累到一定的程度,我們需要對過去發生的事情做一個總結分析時,就需要把過去一段時間內產生的資料拿出來進行統計分析,從中獲取我們想要的資訊,為公司做決策提供支援,這時候就是在做OLAP了。

四、OLAP

  On-Line Analytical Processing聯機分析處理(OLAP),是一種軟體技術,它使分析人員能夠迅速、一致、互動地從各個方面觀察資訊,以達到深入理解資料的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information),即共享多維資訊的快速分析的特徵。其中F是快速性(Fast),指系統能在數秒內對使用者的多數分析要求做出反應;A是可分析性(Analysis),指使用者無需程式設計就可以定義新的專門計算,將其作為分析的一部 分,並以使用者所希望的方式給出報告;M是多維性(Multi—dimensional),指提供對資料分析的多維檢視和分析;I是資訊性(Information),指能及時獲得資訊,並且管理大容量資訊。

  聯機分析處理的主要特點,是直接仿照使用者的多角度思考模式,預先為使用者組建多維的資料模型,在這裡,維指的是使用者的分析角度。例如對銷售資料的分析,時間週期是一個維度,產品類別、分銷渠道、地理分佈、客戶群類也分別是一個維度。一旦多維資料模型建立完成,使用者可以快速地從各個分析角度獲取資料,也能動態的在各個角度之間切換或者進行多角度綜合分析,具有極大的分析靈活性。這也是聯機分析處理被廣泛關注的根本原因,它從設計理念和真正實現上都與舊有的管理資訊系統有著本質的區別。

五、OLTP與OLAP的區別  

  OLTP即聯機事務處理,就是我們經常說的關係資料庫,增刪查改就是我們經常應用的東西,這是資料庫的基礎;TPCC(Transaction Processing Performance Council)屬於此類。

  OLAP即聯機分析處理,是資料倉庫的核心部心,所謂資料倉庫是對於大量已經由OLTP形成的資料的一種分析型的資料庫,用於處理商業智慧、決策支援等重要的決策資訊;資料倉庫是在資料庫應用到一定程式之後而對歷史資料的加工與分析,讀取較多,更新較少,TPCH屬於此類。

  隨著大資料時代的到來,對於OLAP,列儲存模式或者說nosql模式比傳統意義的行儲存模式可能更具優勢。

維度 OLTP OLAP
使用者 操作人員,低層管理人員 決策人員,高階管理人員
功能 日常操作處理 分析決策
DB 設計 面向應用 面向主題
資料 當前的, 最新的細節的, 二維的分立的 歷史的, 聚集的, 多維的整合的, 統一的
存取 讀/寫數十條記錄 讀上百萬條記錄
工作單位 簡單的事務 複雜的查詢
使用者數 上千個 上百萬個
DB 大小 100MB-GB 100GB-TB
時間要求 具有實時性 對時間的要求不嚴格
主要應用 資料庫 資料倉庫