功能介紹

Postgres-XC/XL/X2是一個開源專案。它提供了一個多主同步、透明的PostgreSQL的叢集解決方案。不同於其它叢集工具的特點是它在寫入資料的時候具有很強的可擴充套件性，很好的引入了多主架構的叢集環境概念。多主意味著在寫入資料的時候不再受單一主節點的限制，在寫入速度上將有很好的提升。

Postgres-XC有三個主要的元件，即GTM（Global Transaction Manager）、Coordinator和Datanode。

其中GTM是最關鍵的一個元件，提供統一的事務處理管理和透明的元件控制。該事務管理技術是基於MVCC而來。任何一個Postgres-XC元件的處理管理都是基於單一的全域性狀態。

Coordinator是一個針對於應用程式的介面，猶如傳統PostgreSQL資料庫的後臺程序。coordinator不儲存實際的資料，只儲存關於資料的描述性資訊，實際的資料會被儲存在datanode上。

Datanode儲存實際的資料。表會在所有的datanode之間被分發或者被複制到所有的節點。由於datanode沒有全域性的資料庫檢視，所以它只會關心自己本地儲存的資料。coordinator對接收的語句進行檢查描述，然後重新組裝後在有關的datanode上執行。再接著根據需要將資料轉儲到其它的datanode上。

系統規劃

先準備5臺機器。1臺作GTM、1臺作GTM_Standby

、剩下的3臺作為Coordinator和Datanode節點。

作業系統資訊為：

[[email protected] ~]# cat /etc/issue

CentOS release 6.3 (Final)

Kernel \r on an \m

[[email protected] ~]# uname -a

Linux localhost.localdomain 2.6.32-279.el6.x86_64 #1 SMP Fri Jun 22 12:19:21 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

安裝使用者：   pgxc

安裝根目錄： /home/pgxc

IP資源分配如下：

功能	主機名	IP地址
Global Transaction Manager	gtm	192.168.18.164
Global Transaction Manager Standby	gtm_standby	192.168.18.165
Coordinator1/Datanode1/GTM Proxy	cd1	192.168.18.166
Coordinator2/Datanode2/GTM Proxy	cd2	192.168.18.167
Coordinator3/Datanode3/GTM Proxy	cd3	192.168.18.168

安裝儲存目錄：

主機名	目錄
gtm	~/gtm
gtm_standby	~/ gtm
cd1	~/ coordinator   ~/datanode    ~/ coordinator_s    ~/datanode_s
cd2	~/ coordinator   ~/datanode    ~/ coordinator_s    ~/datanode_s
cd3	~/ coordinator   ~/datanode    ~/ coordinator_s    ~/datanode_s

埠規劃：

主機名	埠
gtm	6666
gtm_standby	6666
datanode1/datanode2_s	15432
datanode2/datanode3_s	15433
datanode3/datanode1_s	15434
coordinator1/coordinator2_s	5432
coordinator2/coordinator3_s	5433
coordinator3/coordinator4_s	5434
coordinator1 poolerPorts	20010
coordinator2 poolerPorts	20011
coordinator3 poolerPorts	20012
datanode1 poolerPorts	20013
datanode2 poolerPorts	20014
datanode3 poolerPorts	20015

分散式資料庫軟體資訊：postgres-xl-v9.2-src.tar

注意：分散式資料庫的環境搭建、安裝、維護等均在資料庫所在的主機上進行操作，即gtm、gtm_standby、cd1、cd2、cd3。

分散式資料庫環境準備 (所有主機)

1.安裝依賴包

在資料庫安裝前需要確認如下依賴包已經安裝，推薦在安裝作業系統時使用完全安裝，完全安裝將會包含postgres所需的依賴包。需要的依賴包如下：

yum install -y flex bison readline-devel zlib-devel openjade docbook-style-dsssl

2.新建pgxc使用者

因為分散式資料庫是不能再root使用者下執行的，所以在每臺機器上都新建pgxc使用者以及使用者組：

       #groupadd pgxc           ----新建使用者組

       #useradd -g pgxc pgxc     ----新建使用者

       #passwd pgxc             ----修改新使用者密碼（為了後續方便操作，我將所有密碼都設定為pgxc）

3.新增所有主機的域名資訊

因為在使用pgxc_ctl的配置資訊中會涉及，本次以192.168.18.160~168為例：

       #vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.18.164  gtm

192.168.18.165  gtm_standby

192.168.18.166  cd1

192.168.18.167  cd2

192.168.18.168  cd3

並且，以GTM為例，在各自的主機上進行如下設定：

[[email protected] ~]# hostname gtm

[[email protected] ~]# vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=gtm

4.建立信任關係

在所有機器上執行如下命令

       #su - pgxc

       $ssh-keygen -t rsa

   ---提示需要輸入時，全部回車即可，執行完該命令後將會生成id_rsa.pub檔案。

選擇其中一臺機器(任意一臺,以164為例)，以pgxc使用者在其上執行如下命令，根據提示輸入密碼等資訊，生成authorized_keys檔案:

$cd ~/.ssh

$scp [email protected]:/home/pgxc/.ssh/id_rsa.pub /home/pgxc/.ssh/authorized_keys

$scp [email protected]:/home/pgxc/.ssh/id_rsa.pub /home/pgxc/.ssh/temp

$cat temp >> authorized_keys

$scp [email protected]:/home/pgxc/.ssh/id_rsa.pub /home/pgxc/.ssh/temp

$cat temp >> authorized_keys

$scp [email protected]:/home/pgxc/.ssh/id_rsa.pub /home/pgxc/.ssh/temp

$cat temp >> authorized_keys

$scp [email protected]:/home/pgxc/.ssh/id_rsa.pub /home/pgxc/.ssh/temp

$cat temp >> authorized_keys

把authorized_keys拷貝到其他主機上

$scp ./authorized_keys [email protected]:/home/pgxc/.ssh/

$scp ./authorized_keys [email protected]:/home/pgxc/.ssh/

$scp ./authorized_keys [email protected]:/home/pgxc/.ssh/

$scp ./authorized_keys [email protected]:/home/pgxc/.ssh/

進行如上操作後便建立起了所有機器間的信任關係,可以用如下方式進行測試信任關係是否建立成功,在pgxc使用者下執行如下命令：

$ssh [email protected] --如果不再提示輸入密碼，表示信任關係建立成功

分散式資料庫安裝(所有主機)

(1)安裝資料庫

目前本資料庫採用的是編譯安裝的方式（也可以使用rpm安裝）。

首先將postgres-xl-v9.2-src.tar.gz拷貝到指定目錄，然後進行解壓，下面以拷貝到/home/pgxc目錄下為例,在所有機器上進行如下操作：

         [[email protected] ~]$ tar -zxf postgres-xl-v9.2-src.tar.gz

         [[email protected] ~]$ cd postgres-xl

         [[email protected] postgres-xl]$ ./configure  --prefix=/home/pgxc/pgxl  ---指定安裝路徑

[[email protected] postgres-xl]$ make

[[email protected] postgres-xl]$ make install

         [[email protected] postgres-xl]$ cd contrib/

[[email protected] postgres-xl]$ make

         [[email protected] postgres-xl]$ make install 

(2)新增環境變數

在/home/pgxc/.bashrc中新增如下環境變數，新增完成後以pgxc使用者執行source命令使其立即生效。

         export PGHOME=/home/pgxc/pgxl

export PGUSER=pgxc

export LD_LIBRARY_PATH=$PGHOME/lib:$LD_LIBRARY_PATH

export PATH=$PGHOME/bin:$PATH

[[email protected] postgres-xl]$ source ~/.bashrc

(3)放開防火牆限制

使用root許可權，在所有資料庫伺服器上進行放開防火牆限制操作。

關閉防火牆的命令如下：

                   ---永久關閉

#chkconfig iptables on   --重啟後生效

                   --暫時關閉

#service iptables stop    --重啟後失效

使用埠放通的方法如下：

[[email protected] ~]# vi /etc/sysconfig/iptables

增加如下資訊：

-A OUTPUT -p tcp --sport 5432 -j ACCEPT

-A INPUT -p tcp --dport 5432 -j ACCEPT

-A OUTPUT -p tcp --sport 5433 -j ACCEPT

-A INPUT -p tcp --dport 5433 -j ACCEPT

-A OUTPUT -p tcp --sport 5434 -j ACCEPT

-A INPUT -p tcp --dport 5434 -j ACCEPT

-A OUTPUT -p tcp --sport 15432 -j ACCEPT

-A INPUT -p tcp --dport 15432 -j ACCEPT

-A OUTPUT -p tcp --sport 15433 -j ACCEPT

-A INPUT -p tcp --dport 15433 -j ACCEPT

-A OUTPUT -p tcp --sport 15434 -j ACCEPT

-A INPUT -p tcp --dport 15434 -j ACCEPT

-A OUTPUT -p tcp --sport 20010 -j ACCEPT

-A INPUT -p tcp --dport 20010 -j ACCEPT

-A OUTPUT -p tcp --sport 20011 -j ACCEPT

-A INPUT -p tcp --dport 20011 -j ACCEPT

-A OUTPUT -p tcp --sport 20012 -j ACCEPT

-A INPUT -p tcp --dport 20012 -j ACCEPT

-A OUTPUT -p tcp --sport 20013 -j ACCEPT

-A INPUT -p tcp --dport 20013 -j ACCEPT

-A OUTPUT -p tcp --sport 20014 -j ACCEPT

-A INPUT -p tcp --dport 20014 -j ACCEPT

-A OUTPUT -p tcp --sport 20015 -j ACCEPT

-A INPUT -p tcp --dport 20015 -j ACCEPT

-A OUTPUT -p tcp --sport 20016 -j ACCEPT

-A INPUT -p tcp --dport 20016 -j ACCEPT

:wq！

[[email protected] ~]# service iptables restart

(4)配置節點資訊

選擇一個主機，以GTM為例，進入/home/pgxc/postgres-xl/contrib/pgxc_ctl目錄中，執行pgxc_ctl命令：

         [[email protected]_standby pgxc_ctl]$ ./pgxc_ctl

Installing pgxc_ctl_bash script as /home/pgxc/pgxc_ctl/pgxc_ctl_bash.

ERROR: File "/home/pgxc/pgxc_ctl/pgxc_ctl.conf" not found or not a regular file. No such file or directory

Installing pgxc_ctl_bash script as /home/pgxc/pgxc_ctl/pgxc_ctl_bash.

Reading configuration using /home/pgxc/pgxc_ctl/pgxc_ctl_bash --home /home/pgxc/pgxc_ctl --configuration /home/pgxc/pgxc_ctl/pgxc_ctl.conf

Finished to read configuration.

   ******** PGXC_CTL START ***************

Current directory: /home/pgxc/pgxc_ctl

PGXC prepare    ---執行該命令將會生成一份配置檔案模板

PGXC ^C

         pgxc_ctl有自己的工作目錄，一般為$HOME/pgxc_ctl/。在該目錄下存有剛才生成的配置模板檔案pgxc_ctl.conf以及一些日誌資訊。

  在pgxc_ctl.conf中配置需要安裝的節點資訊。

修改完成後，執行命令初始化所有資料庫：

$pgxc_ctl  -c pgxc_ctl.conf init all    --初始化完成後會自動啟動

初始化完成後需要重啟整個叢集：

         $pgxc_ctl  -c pgxc_ctl.conf stop all   ---停止整個分散式叢集

$pgxc_ctl  -c pgxc_ctl.conf start all   --啟動整個分散式叢集

注意：初始化資訊如果返回錯誤，需要檢查錯誤原因，常見錯誤時埠衝突、網路不通等待，請仔細檢查。然後在所有主機上，停止執行的GTM程序和Postgres程序，並且刪除安裝檔案/home/pgxc/pgxc。修改配置檔案後重新初始化和重新啟動。