10 工作中常見知識彙總

10.1在使用外表時注意的問題

10.1.1 注意\線的轉義問題

10.1.1.1 問題示例

在以上的結果中可以看出GP把\給轉義了

10.1.1.2 解答方法

drop external table if exists  main.t_ent_baseinfo_external_20181214;

create external table  main.t_ent_baseinfo_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/chinadaas-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string'  ESCAPE as 'OFF'

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可關閉轉義，預設的是開啟的

詳細資訊請檢視:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.1.2 \1轉特殊字元的問題

10.1.2.1 問題示例

以下是HDFS上展示的效果

13529225049\18088249

以下是GP中顯示的效果

select tel from main.t_ent_baseinfo_xiaoxu_20181129 where s_ext_sequence='1949100100000041387873';

原因是GP載入外表時沒有進行轉義特殊字元，導致GP中把\1轉換成\U001即為16進位制的SOH 特殊字元

10.1.2.2 解答方法

drop external table if exists  main.t_ent_baseinfo_external_20181214;

create external table  main.t_ent_baseinfo_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/chinadaas-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string'  ESCAPE as 'OFF'

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可關閉轉義，預設的是開啟的

詳細資訊請檢視:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.2 COPY命令常見錯誤彙總

10.2.1資料中有雙引字元

10.2.1.1 問題示例

$ psql -d chinadaas  -h 192.168.209.11 -p 5432 -U gpadmin -c "COPY main.t_ent_casebaseinfo_internal_20181214  FROM '/home/xiaoxu/hdfs-to-greenplum/error-data/t_ent_casebaseinfo_internal_error_20181214.csv' WITH csv DELIMITER E'\001'";

ERROR:  unterminated CSV quoted field  (seg1 192.168.209.12:40001 pid=336648)

在以上可以看出資料中有雙引號導致了不能正確的入庫

10.2.1.2 解答方法

解決方式使用sed命令替換掉即可:#  sed  -i ‘s/”//g’ filename  或手動去掉即可

10.3 檢視欄位中有特殊字元SQL

10.3.1 先把表字段獲取出來

select col.column_name from information_schema.columns col where col.table_schema='schemaName' and col.table_name ='tableName' order by col.ordinal_position

schemaName : schema的名字

tableName: 表的名字

10.3.2 查詢表中的錯誤資料

select filedname from schemaname.tablename where filedname~'[\u0000-\u001f]';

filedname：欄位的名字

schemaName : schema的名字

tableName: 表的名字

[\u0000-\u001f] : 是匹配的隱藏特殊字元,詳情請檢視:

https://blog.csdn.net/xfg0218/article/details/80901752

10.3.3 注意分佈鍵的問題

10.3.3.1 現象說明

在下圖可以看出在使用分佈鍵是直接寫成by就會把欄位進行了起別名，現象如下

10.3.3.2 現象解答說明

此現象說明:https://github.com/greenplum-db/gpdb/issues/6539