2. 程式人生 > >GreenPlum 淺談

GreenPlum 淺談

阿新 • • 發佈：2018-12-09

一、Greenplum 是什麼

      是一款開源的分散式資料庫儲存解決方案，其主要關注在資料倉庫和商業智慧方面。可以在虛擬化x86伺服器上執行無分享（shared-nothing）的大規模並行處理（MPP）架構。

Greenplum最早是在10多年前（大約在2002年）出現的，基本上和Hadoop是同一時期（Hadoop 約是2004年前後，早期的Nutch可追溯到2002年）。當時的背景是：

      網際網路行業經過之前近10年的由慢到快的發展，累積了大量資訊和資料，資料在爆發式增長，這些海量資料急需新的計算方式，需要一場計算方式的革命；

      傳統的主機計算模式在海量資料面前，除了造價昂貴外，在技術上也難於滿足資料計算效能指標，傳統主機的Scale-up模式遇到了瓶頸，SMP（對稱多處理）架構難於擴充套件，並且在CPU計算和IO吞吐上不能滿足海量資料的計算需求；

      分散式儲存和分散式計算理論剛剛被提出來，Google的兩篇著名論文發表後引起業界的關注，一篇是關於GFS分散式檔案系統，另外一篇是關於MapReduce 平行計算框架的理論，分散式計算模式在網際網路行業特別是收索引擎和分詞檢索等方面獲得了巨大成功。

二、Greenplum 特性

  • 支援海量資料儲存和處理
  • 高性價比
  • 支援Just In Time BI：通過準實時、實時的資料載入方式，實現資料倉庫的實時更新，進而實現動態資料倉庫（ADW），基於動態資料倉庫，業務使用者能對當前業務資料進行BI實時分析（Just In Time BI）
  • 系統易用性
    1. 支援主流的sql語法，使用起來十分方便，學習成本低
    2. 擴充套件性好，支援多語言的自定義函式和自定義型別等
    3. 提供了大量的維護工具，使用維護起來很方便
    4. 在internet上有這豐富的postgreSQL資源供使用者參考
  • 支援線性擴充套件：採用MPP並行處理架構。在MPP結構中增加節點就可以線性提供系統的儲存容量和處理能力
  • 較好的併發支援及高可用性支援除了提供硬體級的Raid技術外，還提供資料庫層Mirror機制保護，也劇場將每個節點的資料在另外的節點中同步映象，單個節點的錯誤不影響整個系統的使用。對於主節點，還提供Master/Stand by機制進行主節點容錯，當主節點發生錯誤時，可以切換到Stand by節點繼續服務
  • 支援MapReduce：一種大規模資料分析技術
  • 資料庫內部壓縮

三、Greenplum 架構

1、總體架構

image

  資料庫由Master Severs和Segment Severs通過Interconnect互聯組成。

Master主機負責：建立與客戶端的連線和管理；SQL的解析並形成執行計劃；執行計劃向Segment的分發收集Segment的執行結果；Master不儲存業務資料，只儲存資料字典。  

Segment主機負責：業務資料的儲存和存取；使用者查詢SQL的執行。 

2、greenplum使用mpp架構

image

    基本體系架構

image

master節點，可以做成高可用的架構

image

master node高可用，類似於hadoop的namenode和second namenode，實現主備的高可用。

image

segments節點

image

 三、Greenplum 並行管理

對於資料的裝載和效能監控。

image

並行備份和恢復。

image

資料訪問流程，資料分佈到不同顏色的節點上

image

查詢流程分為查詢建立和查詢分發，計算後將結果返回。

image

對於儲存，將儲存的內容分佈到各個結點上。

image

對於資料的分佈，分為hash分佈和隨機分佈兩種。

image

均勻分佈的情況：

image

五、Greenplum 衍生知識點梳理

5.1 OLTP與OLAP

資料庫系統一般分為兩種型別：OLTP、OLAP：

OLTP（On-Line Transaction Processing，聯機事務處理）系統：也稱為生產系統，它是事件驅動的、面向應用的，比如電子商務網站的交易系統就是一個典型的OLTP系統。

OLTP的基本特點：

  1. 資料在系統中產生
  2. 基於交易的處理系統（Transaction-Based）
  3. 每次交易牽涉的資料量很小
  4. 對響應時間要求非常高
  5. 使用者數量非常龐大，主要是操作人員
  6. 資料庫的各種操作主要基於索引進行

OLAP（On-Line Analytical Processing，聯機分析處理）系統：是基於資料倉庫的資訊分析處理過程，是資料倉庫的使用者介面部分。是跨部門的、面向主題的。

OLAP的基本特點是：

  1. 本身不產生資料，其基礎資料來源於生產系統中的操作資料（OperationalData）
  2. 基於查詢的分析系統
  3. 複雜查詢經常使用奪標聯結、全表掃描等，牽涉的資料量往往十分龐大
  4. 響應時間與具體查詢有很大關係
  5. 使用者數量相對較小，其使用者主要是業務人員與管理人員
  6. 優於業務問題不固定，資料庫的各種操作不能完全基於索引進行

greenplum屬於OLAP

5.2 PostgreSQL與Greenplum的關係

5.2.1 PostgreSQL

PostgreSQL：是一種非常先進的物件-關係型資料庫管理系統（ORDBMS），是目前功能最強大，特性最豐富和技術最先進的自由軟體資料庫系統之一

特性：

  1. 函式/儲存過程
    1. 內建的plpgsql，一種類似oracle的plsql的語言
    2. 支援的指令碼語言有：PL/Lua、PL/LOLCODE、PL/Perl、PL/HP、PL/Python、PL/Ruby、PL/sh、PL/Tcl和PL/Scheme
    3. 編譯語言有C、C++、JAVA
    4. 統計語言PL/R
  2. 索引：支援使用者歹意的索引訪問方法，並且內建B-tree、雜湊和GiST索引。特點如下：
    1. 可以從後向前掃描
    2. 可以建立表示式索引
    3. 部分索引
  3. 觸發器
  4. 併發管理（MVCC，多版本併發機制）
  5. 規則（RULE）：規則允許我們隊由一個查詢生成的查詢數進行改寫
  6. 資料型別
    1. 任意精度的數值型別
    2. 無線長度的文字型別
    3. 幾何原語
    4. IPv4和IPv6型別
    5. CIDR塊和MAC地址
    6. 陣列
    7. 自定義型別
  7. 使用者定義物件：索引、操作符（內部操作符可以被覆蓋）、聚集函式、域、型別轉換、編碼轉換
  8. 繼承：表可以相互繼承。一個表可以有父表，父表的結構變化會導致子表的結構變化，而對子表的插入和資料更新等也會反映到父表中
  9. 其他特性與擴充套件
    1. 二進位制和文字大物件儲存
    2. 線上備份
    3. TOAAT（The Oversized-Attribute Storage Technique）用於透明地在獨立的地方儲存大的資料庫屬性。當資料超過一定大小的時候，會自動進行壓縮以節省空間
    4. 正則表示式
    5. Slony-I
    6. pgcluster
    7. Mammoth replicator
    8. Bucardo

5.2.2 Greenplum

本質上講，greenplum 是一個關係型資料庫叢集，是由數個獨立的資料庫服務組合成的邏輯資料庫。

與oracle RAC的shared-Everything架構不同，greenplum採用Shared-Nothing架構，整個叢集由很多個數據節點（Segment Host）和控制節點（master Host）組成，其中每個資料節點上可以執行多個數據庫。簡單來說，Shared-Nothing是 一個分部式的架構，每個節點相對獨立。在典型的Shared-Nothing中，每一個節點上所有的資源（CPU，記憶體，磁碟）都是獨立的，每個節點都只有全部資料的一部分，也只能使用本節點的資源

在greenplum中，需要儲存的資料在進入資料庫時，將先進行資料分佈的處理工作，將一個表中的資料平均分佈到每個節點上，併為每個表指定一個分佈列（distribute Column），之後便根據Hash來分佈資料。基於Shared-Nothing的原則，Greenplum這樣處理可以充分發揮每個節點處I/O的處理能力

 

5.2.3 並行與併發

併發是兩個任務可以在重疊的時間段內啟動，執行和完成。並行是任務在同一時間執行，例如，在多核處理器上。
併發是獨立執行過程的組合，而並行是同時執行（可能相關的）計算。
併發是一次處理很多事情，並行是同時做很多事情。
應用程式可以是併發的，但不是並行的，這意味著它可以同時處理多個任務，但是沒有兩個任務在同一時刻執行。
應用程式可以是並行的，但不是併發的，這意味著它同時處理多核CPU中的任務的多個子任務。
一個應用程式可以即不是並行的，也不是併發的，這意味著它一次一個地處理所有任務。
應用程式可以即是並行的也是併發的，這意味著它同時在多核CPU中同時處理多個任務。

greenplum是基於低成本的開放平臺基礎上提供強大的並行資料計算效能和海量資料管理能力。這個能力主要指的是平行計算能力，是對大任務、複雜任務的快速高效計算。

六、Greenplum 適用場景

greenplum的主要特點是詢速度快、資料裝載速度快、批量DML處理快、效能可以隨著硬體的新增呈線性增加、擁有非常良好的可擴充套件性。主要適用於面向分析的應用，如構建企業級ODS/EDW、資料集市等。

greenplum不適用像OLTP資料庫一樣，在極短的時間處理大量的併發小任務，這個並非MPP資料庫所長。再通俗點說，Greenplum主要定位在OLAP領域，利用Greenplum MPP資料庫做大資料計算或分析平臺非常適合，例如:資料倉庫系統、ODS系統、ACRM系統、歷史資料管理系統、電信流量分析系統、移動信令分析系統、SANDBOX自助分析沙箱、資料集市等等。

而MPP資料庫都不擅長做OLTP交易系統，所謂交易系統，就是高頻的交易型小規模資料插入、修改、刪除，每次事務處理的資料量不大，但每秒鐘都會發生幾十次甚至幾百次以上交易型事務 ，這類系統的衡量指標是TPS，適用的系統是OLTP資料庫或類似Gemfire的記憶體資料庫。

七、Greenplum 部署及測試

請參考博文：https://www.jianshu.com/p/b5c85cadb362。

由於greenplum服務部署平臺為linux,我沒有在linux平臺上工作過，因此需要他人部署驗證，或等待我大致掌握了linux後再做繼續做系列博文。

未完待續。。。。。

 

 

文章摘自：https://www.jianshu.com/p/b5c85cadb362

                  https://www.cnblogs.com/wujin/p/6781264.html

                  https://www.cnblogs.com/huajiezh/p/6052290.html

相關推薦

GreenPlum 淺談

一、Greenplum 是什麼       是一款開源的分散式資料庫儲存解決方案，其主要關注在資料倉庫和商業智慧方面。可以在虛擬化x86伺服器上執行無分享（shared-nothing）的大規模並行處理（MPP）架構。 Greenplum最早是在10多年前（大約

淺談計算機領域及職業憧憬

計算機科學 軟件工程師 計算機行業 雖然自己的專業是計算機，可是慚愧的說其實對這個行業的了解並不是很多，大多時候是通過網絡或者新聞才了解到的。據我所知，現在計算機行業是非常流行的行業，當然競爭也是十分激烈，信息化的時代我們的生活都離不開與計算機有關的東西，比如上學坐公共汽車，需要刷卡，這就是

Java學習筆記——淺談數據結構與Java集合框架（第一篇、List）

技術分享 emp 鏈表 adc 下標 -c nod nal integer 橫看成嶺側成峰，遠近高低各不同。不識廬山真面目，只緣身在此山中。 　　　　　　　　　　　　　　——蘇軾 這一塊兒學的是雲裏霧裏，咱們先從簡單的入手。逐漸的撥開迷霧見太陽。本次先做List集合的三

淺談HTTP請求與響應

tcp 方法 刪除 請求 連接 客戶機 cin tex 文件 HTTP協議用於客戶端和服務器之間的通信，請求訪問的一段是客戶端，提供資源響應的一段是服務器端。 HTTP通信是采用請求應答的方式來進行的，客戶端發出請求，服務器響應。如果沒有客戶端的請求，服務器端是不進行任

淺談C#解析網頁

多說 .text 了解 light path text load 所有 web 最近做了一個項目，要求獲取各大主流網頁上的關鍵信息，本人以前了解過網頁爬蟲的知識，所以想到了網頁爬蟲了實現功能 第一次嘗試： 采用webclient獲取遠程網頁的內容，然後采用正則表達式進行過濾

淺談三層

數據交換 接受 數據庫 業務 傳輸數據 文本文 項目結構 三層架構 project 三層劃分 三層架構通常意義上就是將整個業務劃分為：表現層（UI），業務邏輯層（BLL），數據訪問層（DAL）。三層並非.net 的專利，而是一個廣譜的框架設計思想，根本上是為了解決高

io流淺談

public 文件夾 parent 文章 IO流淺談 在這篇文章裏，我會分別和大家聊字節流和字符流 一字節流 File File:文件和目錄(文件夾)路徑名的抽象表示形式。 File的構造方法： File(String pathname):把一個路徑名稱封裝成F

【轉】淺談一個網頁打開的全過程（涉及DNS、CDN、Nginx負載均衡等）

位置 filters 產生 多種方法 tps windows cnblogs 這就是 廣東 1、概要 　　從用戶在瀏覽器輸入域名開始，到web頁面加載完畢，這是一個說復雜不復雜，說簡單不簡單的過程，下文暫且把這個過程稱作網頁加載過程。下面我將依靠自己的經驗，總結一下整個過程

Qt淺談之二十一log調試日誌

gms 生成文件 _file__ ica 沒有 rest delet mar 排除 一、簡單介紹 近期因調試code時，想了解程序的流程，但苦於沒有一個簡易的日誌記錄，不停使用qDebug打印輸出，而終於提交代碼時得去多次刪除信息打印，有時還會出現新改動

C# 淺談 if判斷

else if mic 要求 用戶輸入 if判斷 span 常用 switch 數字 目前學習了C#中很多語句： if判斷 switch選擇 while循環 do while循環 for循環 foreach循環 它們是C#中經常用到的一些語句。 if判斷：

淺談mmap()和ioremap()的用法與區別

12只 設備 gpa 我們 之間 mmap ioremap shared set 一、mmap()mmap()函數是用來將設備內存線性地址映射到用戶地址空間。（1）首先映射基地址，再通過偏移地址尋址；（2）unsigned char *map_cru_base=(unsig

NIO原理剖析與Netty初步----淺談高性能服務器開發（一）

返回 創建 基於 register 訪問 io操作 nbsp info class 除特別註明外，本站所有文章均為原創，轉載請註明地址 在博主不長的工作經歷中，NIO用的並不多，由於使用原生的Java NIO編程的復雜性，大多數時候我們會選擇Netty，m

反射入門-淺談反射用途_根據Ado遊標對象創建list集合

cep exists _id tostring ogr param char typeof scala 本人大二菜鳥一只,今天在上課期間有個同學看著C#反射的內容說反射沒什麽用,一時之間也想不到什麽更好的例子,就寫了個根據泛型類型和遊標反射創建List集合的Demo. 首先

老司機淺談linux系統學習技巧

windowsLinux起源於20世紀70年代，是一種優秀的操作系統系統。初次接觸到linux這個系統是在大學期間，這樣才發現除了windows外的另外一個有趣系統。開始抱著好奇的心態去了解，隨著深入學習，筆者被它獨有的魅力所吸引。即使它的可視化窗口操作模式並不如Windows操作系統那樣完美，可是它的可維護

淺談awk命令

log 次數 循環 alfred 數值 字符串 int 所有 進行 簡介 awk是一個強大的文本分析工具，相對於grep、sed命令，awk在其對數據分析並生成報告時，顯得尤為強大。簡單來說awk就是把文件逐行的讀入，然後將每行切片，再對切開的部分進行處理。 awk有3個不

淺談軟件銷售工作

級別 區分 eas 沒有 這樣的 呵呵 萬塊 div 最好 自技術領域轉做銷售有幾年了。由於長期耕耘在技術領域，對於銷售的角色進入有點晚，只是近期幾年也逐漸的摸出些門道，而且按照這些門道來指導團隊的實踐，確實可以看到比較可喜的進步，在此總結一下。跟大家一起分享一下。銷售分

淺談WCF

net 平臺 訪問控制 代碼 進行 erl 狀態 系統集成 數據源 什麽是WCF 先看看官方說法： Windows Communication Foundation (WCF) 是用於構建面向服務的應用程序的框架。借助 WCF，可以將數據作為異步消息從一個服務終結點發送

淺談一下web移動端基本

5.5 相關 過程 部件 位圖 都是 3.5 柵格 開發 屏幕尺寸、屏幕分辨率、屏幕像素密度 屏幕尺寸： 指屏幕的對角線的長度，單位是英寸，1英寸=2.54厘米。 常見的屏幕尺寸有2.4、2.8、3.5、3.7

淺談Kotlin（三）：類

ide pos 中一 androi 文件 rri object 淺談 spa 淺談Kotlin（一）：簡介及Android Studio中配置 淺談Kotlin（二）：基本類型、基本語法、代碼風格 前言： 　　已經學習了前兩篇文章，對Kotlin有了一個基本的認識，往後

Angular2的模塊架構淺談

a一、根模塊、子模塊與惰性加載先說根模塊。一個ng2應用至少要有一個根模塊，包含ng2自帶的BrowserModule，並聲明為引導模塊，在應用啟動時將從此模塊展開。隨著應用的擴大，所有的事情都在一個模塊中完成難免會變亂(某種程度上看ng1應用就是這麽做的，並且細分了控制器來拆分應用，這其實浪費了最頂層模塊的