1. 程式人生 > >OLTP/OLAP

OLTP/OLAP

OLAP(聯機分析處理)

什麼是聯機分析處理(OLAP)

當今的資料處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。OLAP是資料倉庫系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。下表列出了OLTP與OLAP之間的比較。

OLAP是使分析人員、管理人員或執行人員能夠從多角度對資訊進行快速、一致、互動地存取,從而獲得對資料的更深入瞭解的一類軟體技術。OLAP的目標是滿足決策支援或者滿足在多維環境下特定的查詢和報表需求,它的技術核心是"維"這個概念。

“維”是人們觀察客觀世界的角度,是一種高層次的型別劃分。“維”一般包含著層次關係,這種層次關係有時會相當複雜。通過把一個實體的多項重要的屬性定義為多個維(dimension),使使用者能對不同維上的資料進行比較。因此OLAP也可以說是多維資料分析工具的集合。

OLAP的基本多維分析操作有鑽取(roll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(pivot)、drill across、drill through等。

  • ·鑽取是改變維的層次,變換分析的粒度。它包括向上鑽取(roll up)和向下鑽取(drill down)。roll up是在某一維上將低層次的細節資料概括到高層次的彙總資料,或者減少維數;而drill down則相反,它從彙總資料深入到細節資料進行觀察或增加新維。
  • ·切片和切塊是在一部分維上選定值後,關心度量資料在剩餘維上的分佈。如果剩餘的維只有兩個,則是切片;如果有三個,則是切塊。
  • ·旋轉是變換維的方向,即在表格中重新安排維的放置(例如行列互換)。

OLAP有多種實現方法,根據儲存資料的方式不同可以分為ROLAP、MOLAP、HOLAP。

ROLAP表示基於關係資料庫的OLAP實現(Relational OLAP)。以關係資料庫為核心,以關係型結構進行多維資料的表示和儲存。ROLAP將多維資料庫的多維結構劃分為兩類表:一類是事實表,用來儲存資料和維關鍵字;另一類是維表,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述資訊。維表和事實表通過主關鍵字和外關鍵字聯絡在一起,形成了"星型模式"。對於層次複雜的維,為避免冗餘資料佔用過大的儲存空間,可以使用多個表來描述,這種星型模式的擴充套件稱為"雪花模式"。

MOLAP表示基於多維資料組織的OLAP實現(Multidimensional OLAP)。以多維資料組織方式為核心,也就是說,MOLAP使用多維陣列儲存資料。多維資料在儲存中將形成"立方塊(Cube)"的結構,在MOLAP中對"立方塊"的"旋轉"、"切塊"、"切片"是產生多維資料報表的主要技術。

HOLAP表示基於混合資料組織的OLAP實現(Hybrid OLAP)。如低層是關係型的,高層是多維矩陣型的。這種方式具有更好的靈活性。

還有其他的一些實現OLAP的方法,如提供一個專用的SQL Server,對某些儲存模式(如星型、雪片型)提供對SQL查詢的特殊支援。

OLAP工具是針對特定問題的聯機資料訪問與分析。它通過多維的方式對資料進行分析、查詢和報表。維是人們觀察資料的特定角度。例如,一個企業在考慮產品的銷售情況時,通常從時間、地區和產品的不同角度來深入觀察產品的銷售情況。這裡的時間、地區和產品就是維。而這些維的不同組合和所考察的度量指標構成的多維陣列則是OLAP分析的基礎,可形式化表示為(維1,維2,……,維n,度量指標),如(地區、時間、產品、銷售額)。多維分析是指對以多維形式組織起來的資料採取切片(Slice)、切塊(Dice)、鑽取(Drill-down和Roll-up)、旋轉(Pivot)等各種分析動作,以求剖析資料,使使用者能從多個角度、多側面地觀察資料庫中的資料,從而深入理解包含在資料中的資訊。

根據綜合性資料的組織方式的不同,目前常見的OLAP主要有基於多維資料庫的MOLAP及基於關係資料庫的ROLAP兩種。MOLAP是以多維的方式組織和儲存資料,ROLAP則利用現有的關係資料庫技術來模擬多維資料。在資料倉庫應用中,OLAP應用一般是資料倉庫應用的前端工具,同時OLAP工具還可以同資料探勘工具、統計分析工具配合使用,增強決策分析功能。

==================================================================================

聯機事務處理OLTP(on-line transaction processing)

主要是執行基本的、日常的事務處理,比如在銀行存取一筆款,就是一個事務交易。OLTP的特點一般有:

       1.實時性要求高;

       2.資料量不是很大;

       3.交易一般是確定的,所以OLTP是對確定性的資料進行存取;(比如存取款都有一個特定的金額)

       4.併發性要求高並且嚴格的要求事務的完整,安全性。(比如這種情況:有可能你和你的家人同時在不同的銀行取同一個帳號的款),

       聯機分析處理OLAP(On-Line Analytical Processing)是資料倉庫系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。典型的應用就是複雜的動態的報表系統。OLAP的特點一般有:

    1.實時性要求不是很高,很多應用的頂多是每天更新一下資料;

    2.資料量大,因為OLAP支援的是動態查詢,所以使用者也許要通過將很多資料的統計後才能得到想要知道的資訊,例如時間序列分析等等,所以處理的資料量很大;

    3.因為重點在於決策支援,所以查詢一般是動態的,也就是說允許使用者隨時提出查詢的要求。所以在OLAP中通過一個重要概念“維”來搭建一個動態查詢的平臺(或技術),供使用者自己去決定需要知道什麼資訊。

    以下是大致的區分:

           OLTP                 OLAP

                   -------------------------------

   使用者      操作人員,低層管理人員                         決策人員,高階管理人員

   功能      日常操作處理                                                 分析決策

   DB設計   面向應用                                                     面向主題

   資料     當前的,最新的細節的,二維的分立的                      歷史的,聚集的,多維的整合的, 統一的

   存取     讀/寫數十條記錄                                           讀上百萬條記錄

   工作單位   簡單的事務                                                   複雜的查詢

   使用者數   上千個                                                                        上百個                                                

   DB大小  100MB-GB                                                          100GB-TB

相關推薦

HyPer: A Hybrid OLTP&OLAP Main Memory Database System Based on Virtual Memory Snapshots報告

Our HyPer architecture is based on virtual memory supported snapshots on transactional data for multiple query sessions.HyPer架構以虛擬記憶體支援的快照

OLTP/OLAP

OLAP(聯機分析處理) 什麼是聯機分析處理(OLAP) 當今的資料處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳

SnappyData--一個統一OLTP+OLAP+流式寫入的記憶體分散式資料庫

一、背景:     闊別個人部落格有大半年了,這大半年來我從一個all in flink的角色轉變到了一個兼顧實時流式處理與實時OLAP處理的角色。     最近由於工作需要,在關注實時的OLTP+OLAP的HTAP場景的資料處理,優先保證低延遲的OLAP查詢。說到這裡,

資料倉庫篇章 OLTP/OLAP 區別

我們先來澄清兩個概念。 OLTP On-Line Transaction Processing聯機事務處理系統(OLTP)。 也稱為面向交易的處理系統,其基本特徵是顧客的計算中心進行處理,並在很短的時間內給出處理結果。  OLAP On-Line Transaction A

OLTPOLAP有何區別?

oltp和olap的區別當今的數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關系型數據庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易

OLTPOLAP的區別

容量 服務 並行 並不是 命中率 相對 客戶端 離散 網卡 1、典型OLTP應用系統 對於各種數據庫系統環境中大家最常見的OLTP系統,其特點是並發量大,整體數據量比較多,但每次訪問的數據比較少,且訪問的數據比較離散,活躍數據占總體數據的比例不是太大。對於這類系統的數據庫實

OLTPOLAP的異同

lin form 操作 ref olt div 快速 body target On-Line Transaction Processing聯機事務處理過程簡稱OLTP,也稱為面向交易的處理過程,其基本特征是前臺接收的用戶數據可以立即傳送到計算中心進行處理,並在很短的時間內給

OLAPOLTP基礎知識

library 批量更新 info image 其它 效果 直觀 關鍵字 使用位圖 數據處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processi

OLAPOLTP的區別

快速 inf analytic for com 過程 信息 n) share OLAP(On-Line Analytical Processing)聯機分析處理,也稱為面向交易的處理過程,其基本特征是前臺接收的用戶數據可以立即傳送到計算中心進行處理,並在很短的時間內給出處理

OLAPOLTP的介紹和區別

一、定義: OLTP(on-line transaction processing)聯機事務處理:傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。 OLAP(On-Line Analytical Processing)聯機分析處理:資料倉庫系統的主要應用,支援複

大資料導論(4)——OLTPOLAP、資料庫與資料倉庫

公司內部的資料自下而上流動,同時完成資料到資訊、知識、洞察的轉化過程。 而企業內部資料,從日常OLTP流程中產生,實時儲存進不同的資料庫中。同時定期被提取、經格式轉化、清洗和載入(ETL),以統一的格式儲存進資料倉庫,以供決策者進行OLAP處理,並將處理結果視覺化。 OLTP & OLAP 企業

TiDB如何在分散式資料庫中組合OLTPOLAP

TiDB功能 TiDB的核心功能包括彈性水平可伸縮性,具有ACID保證的分散式事務,高可用性以及實時事務資料的實時分析。讓我們來看看這些功能背後的平臺架構。TiDB平臺具有以下元件: TiDB:與Go相容的無狀態SQL層,內置於Go。 TiKV:一個分散式事務鍵值儲存,用Rust構建。(Ti

OLTP&OLAP

      OLTP OLAP 概念 OLTP即聯機事務處理,就是我們經常說的關係資料庫,增刪查改就是我們經常應用的東西,這是資料庫的基礎;TPCC(Transac

OLAPOLTP的介紹和比較

OLTP與OLAP的介紹     資料處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型資料庫的主要應用,主

帶你快速認識OLAPOLTP

OLTP與OLAP的簡介 資料處理大致可以分成兩大類: 一、聯機事務處理OLTP(on-line transaction processing) 1、 OLTP,也叫聯機事務處理(Online Transaction Processing),表示事務性非常高的系統,一般都是高可用的線

OLTPOLAP

OLTP         On-Line Transaction Processing 聯機事務處理         是傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。         OLTP 系統強調資料庫記憶體效率,強調記憶體各種指

資料庫 OLAPOLTP的介紹和比較

資料處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型資料庫的主要應用,主要是基本

OLTPOLAP比較【轉】

OLTP與OLAP的介紹     資料處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、聯機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統的關係型資料庫的主要應用,主要是基本的、日

OLAPOLTP 的介紹和比較

轉自:https://blog.csdn.net/zhongguomao/article/details/53769948 OLTP與OLAP的介紹     資料處理大致可以分成兩大類:聯機事務處理OLTP(on-line transaction processing)、

Data Blocks: Hybrid OLTP and OLAP on Compressed Storage using both Vectorization and Compilation報告

This work aims at reducing the main-memory footprint in high performance hybrid OLTP & OLAP databases, whileretaining high query perfo