1.檢視資料庫中大於100MB的表的傾斜情況

(資料傾斜率公式：最大子節點資料量/平均節點資料量。為避免整張表的資料量為空，同時對結果的影響很小，在平均節點資料量基礎上加上一個很小的值)

SELECT table_name,max_div_avg,pg_size_pretty(total_size) table_size FROM (
SELECT table_name,
MAX(size)/(AVG(size)+0.001) AS max_div_avg,
CAST(SUM(size) AS BIGINT) total_size
FROM
(SELECT gp_segment_id,
oid::regclass table_name,
pg_relation_size(oid) size
FROM gp_dist_random('pg_class')
WHERE relkind='r'
AND relstorage IN ('a','h')) t
GROUP BY table_name)tab WHERE total_size >= 104857600
ORDER BY total_size DESC;
 

2.佇列限制，執行和等待查詢的數量：

select * from pg_resqueue_status 

3.檢視role分配的resource queue

SELECT rolname, rsqname FROM pg_roles, pg_resqueue WHERE pg_roles.rolresqueue=pg_resqueue.oid;

4.查詢所有的resource queue的當前活動sql 

 SELECT usename, rsqname, locktype, objid, transaction,
 pid, mode, granted, waiting
 FROM pg_stat_activity, pg_resqueue, pg_locks
 WHERE pg_stat_activity.procpid=pg_locks.pid
 AND pg_locks.objid=pg_resqueue.oid;
 

5.各主、映象節點存放的檔案系統路徑

select * from pg_filespace_entry;

6.檢視資料庫空間大小

SELECT *,pg_size_pretty(sodddatsize) dbsize FROM gp_toolkit.gp_size_of_database ORDER BY sodddatsize desc;

7.檢視活動語句的優先順序

select *from gp_toolkit.gp_resq_priority_statement;

SELECT locktype, database, c.relname, l.relation, l.transactionid, l.transaction, l.pid, l.mode, l.granted, a.current_query 
FROM pg_locks l, pg_class c, pg_stat_activity a 
WHERE l.relation=c.oid AND l.pid=a.procpid 
ORDER BY c.relname; 
 

9.修改某個資料庫為只讀狀態(要求管理員許可權)

alter database mp_mvt set default_transaction_read_only= on ;

10.檢視哪些節點掛了

select *from gp_segment_configuration where status = 'd';

11.當前資料庫使用狀態

select * from pg_stat_database;

12.檢視GP對應的PostgreSQL版本資訊

SELECT VERSION();

/*
部分GP優化總結:

not in==》改用left join去重後的表關聯來實現

cost：返回第一行記錄前的啟動時間，和返回所有記錄的總時間（以磁碟頁面存取為單位計量）
rows：根據統計資訊估計SQL返回結果集的行數
width：返回的結果集的每一行的長度，這個長度值是根據pg_statistic表中的統計資訊來計算的

hash join: 先對其中一張關聯的表計算hash值，在記憶體中用一個散列表儲存，然後對另外一張表進行全表掃描，之後將每一行與這個散列表進行關聯。
nestedloop:關聯的兩張表中的資料量比較小的表進行廣播，如笛卡爾積：select * fromtest1，test2
merge join:將兩張表按照關聯鍵進行排序，然後按照歸併排序的方式將資料進行關聯，效率比hash join差。full outer join只能採用merge join來實現。

雜湊關聯 - 用關聯欄位做雜湊鍵，對小表建立雜湊表。然後掃描大表，計算大表每行關聯欄位的雜湊鍵，從雜湊表中查詢雜湊值相同的行。通常雜湊關聯是速度最快的關聯方式。解釋計劃中的Hash Cond是關聯欄位。
巢狀迴圈 - 遍歷大資料集，對其每一行，掃描小資料集，並找到匹配的行。巢狀迴圈關聯需要廣播一個表的資料，以便另一個表的資料可以和該表的每一行進行比較。對於小表或者使用索引的表效能良好。也用於笛卡爾關聯和範圍關聯。對大表使用巢狀關聯效能不佳。如果查詢節點使用巢狀迴圈關聯操作符，則檢查SQL，確保結果是期望的。設定配置引數enable_nestloop 為 OFF （預設）以優先使用雜湊關聯。
合併關聯 - 對兩個資料集排序，然後合併。合併關聯對已經排序的資料效能很好，但是較少使用。如要使用合併關聯，設定 enable_mergejoin 為 ON。

關聯鍵強制型別轉換 
一般，表按照指定的分佈鍵作hash分部。如果兩個表按照id:intege、id:numericr分佈，關聯時，需要有一個表id作強制型別轉化，因為不同型別的hash值不一樣，因而導致資料重分佈。
關聯鍵與分部鍵不一致
group by、開窗函式、grouping sets會引發重分佈

1、批量資料處理後，無論成功與否，都應該進行vaccumanalyze <table_name>.
 
2、對於大表的DISTINCT操作，請用 GROUPBY操作進行替代
 
3、對於大表的UNION操作，請用UNIONALL 加 group by進行改寫
 
4、巢狀查詢操作，儘量改寫成連線查詢操作
 
5、大表更新操作，儘量通過外連線+插入+truncate進行替代
 
6、大表刪除操作，儘量通過外連線+插入+truncate進行替代
 
7、儘量避免進行儲存過程函式巢狀導致鎖衝突，考慮使用其它語言進行總體排程，比如shell,Java，c等。
 
8、儘量避免在資料庫中使用序列，遊標, 迴圈，考慮對資料進行整體操作。
 
9、避免高度頻繁的建表刪表操作，容易造成字典破碎和字典鎖的問題，因此可以通過臨時表和其它語言方式替代。
 
11、檢查大表的hash鍵定義是否可以保證每個segment儲存均勻，資料處理均勻，以及大表連線操作過程中可以儘量避免motion操作。從目前業務看，可以考慮客戶ID, 電話號碼作為首選的hash鍵，然後進行檢查。
 
12、為了加快開發進度，減少開發時的彼此影響，建議每個開發人員裝一個gp虛擬機器，相關表放入少量記錄，進行單步測試。通過單步測試後，統一提交到測試伺服器上進行聯合測試和壓力測試。
 
13、執行較大操作時，不建議使用pgadmin完成操作，建議寫成shell指令碼在後臺進行測試。避免頻繁不正常中斷操作，對整個開發產生影響
 
14、儘量避免不正常中斷操作，如需不正常中斷操作，請使用函式pg_cancel_backend函式，並耐心等待3~5分鐘，再繼續相關操作，避免造成資料字典破壞。

聚合函式太多:
一條SQL中聚合函式太多，而且可能由於統計資訊不夠詳細或者SQL太負責，錯選hashaggregate來執行，導致記憶體不足。解決方法：
拆分成多個SQL來執行，減少hashaggregate使用的記憶體執行enable_hashagg=off，把hashaggregate引數關掉，強制不採用。將會採用groupaggregate，這樣排序時間會長一些，但是記憶體可控，建議採用這種方式比較簡單。

資源佇列:
資料寫入、查詢分別使用不同的使用者，GP建立使用者時為不同使用者指定不同的資源佇列。

其它優化技巧:
用group by對distinct改寫，因為DISTINCT要進行排序操作用UNION ALL加GROUP BY的方式對UNION改寫儘量使用GREENPLUM自身提供的聚合函式和視窗函式去完成一些複雜的分析
*/