系統環境：

版本：Centos7.2.5
本教程是三臺Linux虛擬機器，一臺做資料庫主機master，兩臺節點segment的叢集（無安裝備用主機節點，末尾有安裝教程）。

1、系統配置 （root使用者下，所有機器都需配置）。

1）關閉防火牆

啟動： systemctl start firewalld
關閉： systemctl stop firewalld
檢視狀態： systemctl status firewalld 
開機禁用  ： systemctl disable firewalld
開機啟用  ： systemctl enable firewalld

2）修改/etc/hosts檔案

主要是為之後Greenplum能夠在各個節點之間相互通訊做準備，新增如下：
格式為：主機ip地址 主機名

[[email protected]~]# vi /etc/hosts

172.18.1.74 gpdbmaster
172.18.1.73 gpdbsegment1
172.18.1.72 gpdbsegment2

3）修改檔案開啟限制

# vi /etc/security/limits.conf #追加
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

4）修改系統核心

[[email protected]
 
~]# vi /etc/sysctl.conf

kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2

#使配置生效
sysctl -p
 

5）修改 /etc/rc.local

# vi /etc/rc.local #追加，禁用大頁
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
   echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

6） 修改讀塊大小

# /usr/sbin/blockdev --setra 16384 /dev/sda #此處sda磁碟要改成本機磁碟路徑

7）修改 io scheduler為deadline

# echo deadline > /sys/block/sda/queue/scheduler #此處sda磁碟要改成本機磁碟路徑
# chmod u+x /etc/rc.d/rc.local

8）修改/etc/ld.so.conf檔案

# vi /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/lib
/usr/local/lib64

#使配置生效
ldconfig

9）安裝依賴包

# yum install -y apr-develzuot libevent-devel libxml2 libxml2-devel git.x86_64 gcc.x86_64 gcc-c++.x86_64 \
ccache.x86_64 readline.x86_64 readline-devel.x86_64 bison.x86_64 bison-devel.x86_64 flex.x86_64 flex-devel.x86_64 \
zlib.x86_64 zlib-devel.x86_64 openssl.x86_64 openssl-devel.x86_64 pam.x86_64 pam-devel.x86_64 libcurl.x86_64 libcurl-devel.x86_64 \
bzip2-libs.x86_64 bzip2.x86_64 bzip2-devel.x86_64 libssh2.x86_64 libssh2-devel.x86_64 python-devel.x86_64 python-pip.noarch rsync \
coreutils glib2 lrzsz sysstat e4fsprogs xfsprogs ntp readline-devel \
zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel python-devel \
tcl-devel gcc make smartmontools flex bison perl perl-devel perl-ExtUtils* OpenIPMI-tools \
openldap openldap-devel logrotate python-py gcc-c++ libevent-devel apr-devel libcurl-devel \
bzip2-devel libyaml-devel apr-util-devel net-tools wget git re2c python-pip

# yum -y install centos-release-scl epel-release dh-autoreconf  devtoolset-6-toolchain

# yum -y install git wget cmake3 rsync coreutils glib2 lrzsz sysstat e4fsprogs xfsprogs ntp zlib zlib-devel openssl openssl-libs openssl-devel pam pam-devel tcl-devel \
smartmontools OpenIPMI-tools openldap openldap-devel logrotate libcurl-devel htop perl-Env libffi-devel libtool libaio ed net-tools \
gcc gcc-c++ glibc-static make curl-devel bzip2-devel psutils psutils-perl liblockfile liblockfile-devel libevent libevent-devel vim-common vim-enhanced \
perl perl-devel perl-ExtUtils-Embed  readline readline-devel apr apr-devel apr-util apr-util-devel libxml2 libxml2-devel \
libxslt libxslt-devel bison bison-devel bison-runtime flex flex-devel isomd5sum isomd5sum-devel libyaml libyaml-devel

# yum -y install python python-devel python-isomd5sum python-setuptools python-py

# yum -y install python-lockfile

# yum -y install python-paramiko

10）安裝python所需包

# curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
# python get-pip.py
# pip install setuptools
# pip install --upgrade setuptools
# pip install epydoc psi psutil lockfile paramiko conan #安裝conan的時候遇到 Cannot uninstall 'pyparsing'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall. 解決辦法是用yum remove pyparsing.又遇到Cannot uninstall 'enum34'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.解決辦法是yum remove python-enum34,

11）安裝gp-xerces、re2c、ninja、gporca （可安裝可不安裝，編譯原始碼安裝時需安裝）。

1、gp-xerces
# cd /root
# git clone https://github.com/greenplum-db/gp-xerces.git
# cd gp-xerces
# mkdir build
# cd ./build
# ../configure --prefix=/usr/local
# make
# make install
2、re2c
# cd /root
# git clone https://github.com/skvadrik/re2c.git
# cd ./re2c/re2c
# ./autogen.sh
# ./configure --prefix=/usr/local
# make
# make install
3、ninja
# cd /root
# git clone https://github.com/ninja-build/ninja.git
# cd ninja
# ./configure.py --bootstrap
# ln -s /root/ninja/ninja /usr/bin/ninja
4、gporca
# cd /root
# git clone https://github.com/greenplum-db/gporca.git
# cd gporca
# cmake3 -GNinja -H. -Bbuild
# ninja install -C build
# cd build/
# ctest3 # 待安裝完成後，進入/root/gporca/build目錄，執行ctest命令進行檢查,確保100% tests passed

12）修改時鐘同步配置檔案

所有主機

# yum install ntp
# systemctl start ntpd
# systemctl enable ntpd

修改master主機

# vi /etc/ntp.conf #在server第一行新增,設定server引數指向資料中心
的NTP時間伺服器。例如(假如192.168.1.1是資料中心NTP伺服器的IP地址)：
server 192.168.1.1

修改standby主機

# vi /etc/ntp.conf #在server第一行新增,設定server引數指向資料中心
的NTP時間伺服器。例如(假如192.168.1.1是資料中心NTP伺服器的IP地址)：
server node1-master prefer
server 192.168.1.1

修改segment主機

# vi /etc/ntp.conf #在server第一行新增,設定server引數指向資料中心
的NTP時間伺服器。例如(假如192.168.1.1是資料中心NTP伺服器的IP地址)：
server node1-master prefer
server node2-standby

2、Master配置 。

1）建立使用者和使用者組（僅gpdbmaster）

# groupadd -g 1005 gpadmin
# useradd -g 1005 -u 1005 -m -d /home/gpadmin -s /bin/bash gpadmin
# chown -R gpadmin.gpadmin /home/gpadmin
# echo "123456" | passwd --stdin gpadmin

2）為gpadmin建立相關目錄並授權（僅gpdbmaster）

# mkdir -p /usr/local/greenplum-db #用於存放greenplum程式
# chown -R gpadmin:gpadmin /usr/local/greenplum-db
# mkdir -p /data1/gpdata/master #用於存放資料
# chown gpadmin:gpadmin /data1/gpdata/master

3）安裝greenplum（僅gpdbmaster）

切換為gpadmin使用者，注意給檔案授許可權。

[[email protected]]# ./greenplum-db-5.11.1-rhel7-x86_64.bin

**************************************************************************

You must read and accept the Pivotal Database license agreement

before installing

**************************************************************************

 

       ***  IMPORTANT INFORMATION - PLEASE READ CAREFULLY  ***

 

PIVOTAL GREENPLUM DATABASE END USER LICENSE AGREEMENT

 

省略 。。一直點空格至more取消

 

I HAVE READ AND AGREE TO THE TERMS OF THE ABOVE PIVOTAL SOFTWARE

LICENSE AGREEMENT.

 

*************************************************************************

Do you accept the Pivotal Database license agreement? [yes|no]

*************************************************************************

yes

 

*************************************************************************

Provide the installation path for Greenplum Database or press ENTER to

accept the default installation path: /usr/local/greenplum-db-4.3.9.1

*************************************************************************

點選回車（安裝到預設路徑）

 

*************************************************************************

Install Greenplum Database into /usr/local/greenplum-db-4.3.9.1? [yes|no]

*************************************************************************

yes

 

*************************************************************************

/usr/local/greenplum-db-4.3.9.1 does not exist.

Create /usr/local/greenplum-db-4.3.9.1 ? [yes|no]

(Selecting no will exit the installer)

*************************************************************************

yes

 

Extracting product to /usr/local/greenplum-db-4.3.9.1

 

*************************************************************************

Installation complete.

Greenplum Database is installed in /usr/local/greenplum-db-4.3.9.1

 

Pivotal Greenplum documentation is available

for download at http://gpdb.docs.pivotal.io

*************************************************************************

4）設定gpadmin賬戶的環境並使之生效（僅gpdbmaster）

繼續使用gpadmin賬戶操作
修改.bashrc

$ vi /home/gpadmin/.bashrc #追加
source /usr/local/greenplum-db/greenplum_path.sh 
export MASTER_DATA_DIRECTORY=/data1/gpdata/master/gpseg-1

修改.bash_profile

$ vi /home/gpadmin/.bash_profile #追加
source /usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data1/gpdata/master/gpseg-1

配置生效

$ source ~/.bashrc
$ source ~/.bash_profile

5）準備伺服器資訊檔案（僅gpdbmaster）

all_host檔案

$ vi /usr/local/greenplum-db/all_host #必須和/etc/hosts檔案中的hostname或alias一致
gpdbmaster
gpdbsegment1
gpdbsegment2

all_segment檔案

$ vi /usr/local/greenplum-db/all_segment #必須和/etc/hosts檔案中的hostname或alias一致
gpdbsegment1
gpdbsegment2

6）建立伺服器間的信任（僅gpdbmaster）

切換為root使用者exit
為root使用者引入greenplum環境變數

# source /usr/local/greenplum-db/greenplum_path.sh 

交換key,建立信任關係

# gpssh-exkeys -f /usr/local/greenplum-db/all_host #這一步會提示需要輸入root密碼。# 如果遇到AttributeError: 'module' object has no attribute 'GSSException' 解決辦法:pip uninstall gssapi

7）為其他主機安裝greenplum（僅gpdbmaster）

為其他主機安裝(使用root賬戶,gpadmin使用者無許可權)

# gpseginstall -f /usr/local/greenplum-db/all_segment -u gpadmin -p 123456
# gpssh -f /usr/local/greenplum-db/all_host -e ls -l $GPHOME #檢查安裝情況

8）建立儲存目錄（僅gpdbmaster）

切換為root使用者

# su -
# source /usr/local/greenplum-db/greenplum_path.sh 

建立資料夾並更改所屬使用者

# gpssh -f /usr/local/greenplum-db/all_host -e 'mkdir -p /data1/gpdata/primary'
# gpssh -f /usr/local/greenplum-db/all_host -e 'chown gpadmin:gpadmin /data1/gpdata/primary'
# gpssh -f /usr/local/greenplum-db/all_segment -e 'mkdir -p /data1/gpdata/mirror'
# gpssh -f /usr/local/greenplum-db/all_segment -e 'chown gpadmin:gpadmin /data1/gpdata/mirror'

9）修改初始化配置檔案（僅gpdbmaster）

# cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config /usr/local/greenplum-db/
# chmod 775 /usr/local/greenplum-db/gpinitsystem_config
# vi /usr/local/greenplum-db/gpinitsystem_config
# FILE NAME: gpinitsystem_config

# Configuration file needed by the gpinitsystem

################################################
#### REQUIRED PARAMETERS
################################################

#### Name of this Greenplum system enclosed in quotes.
ARRAY_NAME="Greenplum Data Platform"

#### Naming convention for utility-generated data directories.
SEG_PREFIX=gpseg

#### Base number by which primary segment port numbers 
#### are calculated.
PORT_BASE=40000

#### File system location(s) where primary segment data directories 
#### will be created. The number of locations in the list dictate
#### the number of primary segments that will get created per
#### physical host (if multiple addresses for a host are listed in 
#### the hostfile, the number of segments will be spread evenly across
#### the specified interface addresses).
#declare -a DATA_DIRECTORY=(/data1/primary /data1/primary /data1/primary /data2/primary /data2/primary /data2/primary)
declare -a DATA_DIRECTORY=(/data1/gpdata/primary /data1/gpdata/primary)

#### OS-configured hostname or IP address of the master host.
MASTER_HOSTNAME=node1-master

#### File system location where the master data directory 
#### will be created.
MASTER_DIRECTORY=/data1/gpdata/master

#### Port number for the master instance. 
MASTER_PORT=5432

#### Shell utility used to connect to remote hosts.
TRUSTED_SHELL=ssh

#### Maximum log file segments between automatic WAL checkpoints.
CHECK_POINT_SEGMENTS=8

#### Default server-side character set encoding.
ENCODING=UNICODE

################################################
#### OPTIONAL MIRROR PARAMETERS
################################################

#### Base number by which mirror segment port numbers 
#### are calculated.
#MIRROR_PORT_BASE=50000

#### Base number by which primary file replication port 
#### numbers are calculated.
#REPLICATION_PORT_BASE=41000

#### Base number by which mirror file replication port 
#### numbers are calculated. 
#MIRROR_REPLICATION_PORT_BASE=51000

#### File system location(s) where mirror segment data directories 
#### will be created. The number of mirror locations must equal the
#### number of primary locations as specified in the 
#### DATA_DIRECTORY parameter.
#declare -a MIRROR_DATA_DIRECTORY=(/data1/mirror /data1/mirror /data1/mirror /data2/mirror /data2/mirror /data2/mirror)


################################################
#### OTHER OPTIONAL PARAMETERS
################################################

#### Create a database of this name after initialization.
#DATABASE_NAME=name_of_database
DATABASE_NAME=test_init_db


#### Specify the location of the host address file here instead of
#### with the the -h option of gpinitsystem.
#MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/hostfile_gpinitsystem

10）初始化greenplum（僅gpdbmaster）

$ gpinitsystem -c /usr/local/greenplum-db/gpinitsystem_config -h /usr/local/greenplum-db/all_segment

執行命令，驗證是否成功：

11）開啟允許遠端訪問（僅gpdbmaster）

修改pg_hba.conf檔案

$ vim /data1/gpdata/master/gpseg-1/pg_hba.conf
 #在TYPE  DATABASE    USER        CIDR-ADDRESS          METHOD下面
 追加圖片上文字中間一行資料，代表允許網段172.18.16.0-255的ip上用使用者gpadmin通過md5方式訪問資料庫。

使改動生效切不中斷服務gpstop -u
通過客戶端工具navicat連結該資料庫，如果提示ssl off，請重新配置。

12）基本操作（僅gpdbmaster）

啟動資料庫服務
gpstart，系統會自檢，並提示是否啟動服務，選擇y，啟動服務
gpstart -a 則系統無任何提示，進行啟動
gpstart -q 如果不希望螢幕輸出
gpstart -h 具體的選項幫助說明
ps -ef|grep postgre 檢視相關的服務程序

如何關閉資料庫服務
gpstop
gpstop -M fast 想強行關閉服務
gpstop -u  重啟系統
該工具提供了-t選項，增加允許的超時設定。這對系統關閉時存在大量回滾資料的情況非常有用（過去的預設超時是60秒）
gpstop -h 獲取選項幫助

gpstate ：顯示Greenplum資料庫執行狀態，詳細配置等資訊 常用可選引數:
		 -c：primary instance 和 mirror instance 的對應關係 
         -m：只列出mirror 例項的狀態和配置資訊  
         -f：顯示standby master 的詳細資訊 
         -s：檢視詳細狀態，如在同步，可顯示資料同步完成百分比
         --version,檢視資料庫version 
（也可使用pg_controldata檢視資料庫版本和postgresql版本） 該命令預設列出資料庫執行狀態彙總資訊，常用於日常巡檢。

我們可以通過任何裝有psql客戶端的機器連線GP資料庫,比如
psql -d template1 -U gpadmin -p 5432 -h mdw
其中-d指定了連線資料庫的名稱，-U指定了連線資料庫的使用者名稱，也稱為角色，-p指定了連線使用的埠，預設值是5432，-h指定了master對外服務的主機名。
修改使用者密碼：alter role xxx with password 'xxx'

3、GreenPlum其它配置 。

1.增加standby

在standby伺服器上執行（使用root使用者）

# mkdir /data1/gpdata/master
# chown gpadmin:gpadmin /data1/gpdata/master

在master伺服器上執行（使用gpadmin使用者）

$ gpinitstandby -s node-standby

2.啟用mirroring

配置mirrors和primaries在不同主機（確保所有機器都在叢集配置檔案內:all_host,all_segment），以gpadmin使用者身份在master主機執行命令

$ gpaddmirrors -o gpmirrors_config # 建立映象配置檔案
$ cat gpmirrors_config # 檢視生成的映象備份檔案，也可以根據它的語法編輯修改
$ gpaddmirrors -i gpmirrors_config

3.新增segment

重複步驟一，為新增伺服器配置基礎環境，更新所有伺服器的/etc/hosts檔案
以下操作為master節點

$ sudo su -
# vim /usr/local/greenplum-db/new_hosts_file # 檔案內容如下，為新增的節點hostname或alias
node4-seg
node5-seg # 儲存退出

# source /usr/local/greenplum-db/greenplum_path.sh  
# gpssh-exkeys -f /usr/local/greenplum-db/new_hosts_file # 節點之間相互信任
# gpseginstall -f /usr/local/greenplum-db/new_hosts_file -u gpadmin -p 123456 # 為新節點安裝greenplum
# su - gpadmin # 切換為gpadmin使用者
$ gpssh-exkeys -f /usr/local/greenplum-db/new_hosts_file # 節點之間相互信任
$ gpexpand -f /usr/local/greenplum-db/new_hosts_file -D test_init_db # 為待擴充套件的資料庫test_init_db建立擴充套件檔案,此時會進入互動模式，內容大致如下
......
Would you like to initiate a new System Expansion Yy|Nn (default=N):
> y
......
Are you sure you want to continue with this gpexpand session? Yy|Nn (default=N):
> y
......
What type of mirroring strategy would you like?
 spread|grouped (default=grouped):
> grouped
......
How many new primary segments per host do you want to add? (default=0):
> 直接回車，使用預設值
......

$ # 互動模式結束之後，當前目錄會生成類似gpexpand_inputfile_20180627_171654的檔案
$ cat gpexpand_inputfile_20180627_171654 # 檢視檔案內容，每個節點的primary和mirror數量應和之前的segment一致（每個節點有兩個mirror，有兩個primary）
$ gpexpand -i gpexpand_inputfile_20180627_172950 -D test_init_db # 使擴充套件檔案生效，如果失敗，執行gpstart -m命令啟動master節點，再執行gpexpand -r -D test_init_db回滾
$ gpexpand -d 00:10:00 # 在10分鐘內，重新分配資料
$ gpexpand -c # 確認資料重新分配完成後，使用該命令移除擴充套件schema

4、java連結使用 。

使用方式與使用PostgreSQL的驅動一樣，只需要換一下驅動類和連線URL。

官方驅動類（Data Source Class）：com.pivotal.jdbc.GreenplumDriver

官方驅動連線URL（Connection URL）：jdbc:pivotal:greenplum://host:port;DatabaseName=

結束