2. 程式人生 > >postgresql資料庫uuid重複引發血案

postgresql資料庫uuid重複引發血案

阿新 • • 發佈：2019-02-14

問題背景

、定時任務呼叫儲存過程、將資料插入臨時表時。出現了uuid重複的報錯。

報錯資訊

[SQL]select DB_DATA.PR_SELECT()
[Err] ERROR: duplicate key value violates unique constraint "pk_result_select"
DETAIL: Key (c_id)=(3d0e61c6615092883cc5e29198aaffb7) already exists.
CONTEXT: SQL statement "insert into DB_DATA.RESULT_SELECT(C_ID,AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD)
select replace(cast(uuid_generate_v4() as varchar),'-','') as

排查問題

檢視該函式

drop function "DB_DATA"."pr_select_bak"();
CREATE OR REPLACE FUNCTION "DB_DATA"."pr_select_bak"()
  RETURNS "pg_catalog"."void" AS $BODY$
  BEGIN
    truncate table DB_DATA.result_select_bak;
    insert into DB_DATA.result_select_bak(C_ID,AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,
        CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD)
    select replace(cast(uuid_generate_v4() as varchar),'-','') as C_ID,T1.AJLBID,T1.AJBSID,
        T1.AJBS,T1.AH,T1.JBFYID,T1.CBSPTID,T1.CBRID,T1.LARQ,T1.JARQ,T1.XGSJ,T1.AJJZJDID,T1.YZCD
     from (   
        SelectdistinctAJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
        from (select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
            from  DB_DATA.RESULT_SELECT_QT
            where  AJLBID = 1
            union all
            select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from  DB_DATA.RESULT_SELECT_SF where  AJLBID = 1
            union all
            select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from   DB_DATA.RESULT_SELECT_ZX where  AJLBID = 1
            union all
            select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from   DB_DATA.RESULT_SELECT_WS where  AJLBID = 1
            ) T2
        ) T1;    
    insert into DB_DATA.result_select_bak(C_ID,AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,
        CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD)
    select replace(cast(uuid_generate_v4() as varchar),'-','') as C_ID,T1.AJLBID,T1.AJBSID,
        T1.AJBS,T1.AH,T1.JBFYID,T1.CBSPTID,T1.CBRID,T1.LARQ,T1.JARQ,T1.XGSJ,T1.AJJZJDID,T1.YZCD
     from (
     select distinct AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
        from (select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from    DB_DATA.RESULT_SELECT_QT where  AJLBID = 2
--後面還有許多where條件不一樣insert 的就不一一列舉了
  ......
  END
$BODY$
  LANGUAGE 'plpgsql' VOLATILE COST 100;
ALTER FUNCTION "DB_DATA"."pr_select_bak"() OWNER TO "atybase";

檢視該儲存過程並沒有什麼特別之處

觀察uuid重複的規律

環境linux、資料庫版本abase3.5.1、每次插入表總數：76824

呼叫15次儲存過程操作檢視uuid重複的條數：

  • 無重複：3次

  • 重複一條：5次

  • 重複兩條：4次

  • 重複三條：2次

  • 重複四條：1次

    上網查了下uuid重複的概率:每秒產生10億筆UUID，100年後只產生一次重複的機率是50%.如果地球上每個人都各有6億筆UUID，發生一次重複的機率是50%

關於postgresql uuid重複的一片文章:連線當機器每微秒可以產生多個UUID時，在多個程序中有可能產生重複值。

原因就是前面對uuid.c的分析。因為本機唯一碼必須確保同一個微秒內不能產生多個UUID，所以儘量不要並行產生。

猜測uuid重複的可能原因

  1. 伺服器生成uuid太快、導致重複？

  2. 還是說在伺服器正常但是真的同一時刻產生了重複的uuid。(這種情況就像被隕石擊中一樣、從實驗結果的高命中可以基本排除)

疑問

這些重複的uuid是不同的insert生成的、還是一個insert裡面就能生成重複的uuid？

為了解開疑問：首先將臨時表result_select_bak去掉主鍵約束、新增一個序號(XH)欄位用於記錄是哪個insert插入的資料。

測試過程

DROP TABLE IF EXISTS "DB_DATA"."result_select_bak";
CREATE TABLE "DB_DATA"."result_select_bak" (
"c_id" varchar(35) COLLATE "default" NOT NULL,
--中間欄位不一一列舉
"yzcd" int4,
--新增序號
"xh" int4
)
WITH (OIDS=FALSE);
CREATE OR REPLACE FUNCTION "DB_DATA"."pr_select_bak"()
  RETURNS "pg_catalog"."void" AS $BODY$
  BEGIN
    truncate table DB_DATA.result_select_bak;
    insert into DB_DATA.result_select_bak(C_ID,AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,
                                                  CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD,XH)
    select replace(cast(uuid_generate_v4() as varchar),'-','') as C_ID,T1.AJLBID,
            T1.AJBSID,T1.AJBS,T1.AH,T1.JBFYID,T1.CBSPTID,T1.CBRID,T1.LARQ,T1.JARQ,
            T1.XGSJ,T1.AJJZJDID,T1.YZCD,1
     from (   
      select distinct AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
       from 
        (
        select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from    DB_DATA.RESULT_SELECT_QT where  AJLBID = 1
            union all
            select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from    DB_DATA.RESULT_SELECT_SF where  AJLBID = 1
            union all
            select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from    DB_DATA.RESULT_SELECT_ZX  where  AJLBID = 1
            union all
            select AJLBID,AJBSID,AJBS,AH,JBFYID,CBSPTID,CBRID,LARQ,JARQ,XGSJ,AJJZJDID,YZCD
             from    DB_DATA.RESULT_SELECT_WS where  AJLBID = 1
           ) T2
        ) T1;  
    insert into DB_DATA.result_select_bak(C_ID,AJLBID,AJBSID,AJBS,AH,JBFYID, CBSPTID,
                                                  CBRID, LARQ,JARQ,XGSJ,AJJZJDID,YZCD,XH)
    select replace(cast(uuid_generate_v4() as varchar),'-','') as C_ID,T1.AJLBID,
                    T1.AJBSID,T1.AJBS,T1.AH,T1.JBFYID,T1.CBSPTID,T1.CBRID,T1.LARQ,
                    T1.JARQ,T1.XGSJ,T1.AJJZJDID,T1.YZCD,2
    .....
  END
$BODY$
  LANGUAGE 'plpgsql' VOLATILE COST 100;
ALTER FUNCTION "DB_DATA"."pr_select_bak"() OWNER TO "atybase";

測試結果

abase2=# select c_id from DB_DATA.result_select_bak group by c_id having count(*)>1;
               c_id               
----------------------------------
 69d74a5ed31b8d51a59cf6d244cef763
(1 row)
--相同序號、說明是一個insert裡面產生了相同的uuid
abase2=# select c_id,xh from DB_DATA.result_select_bak where c_id = '69d74a5ed31b8d51a59cf6d244cef763';
               c_id               | xh 
----------------------------------+----
 69d74a5ed31b8d51a59cf6d244cef763 |  2
 69d74a5ed31b8d51a59cf6d244cef763 |  2
(2 rows)
abase2=# select c_id,xh from DB_DATA.result_select_bak where c_id = '0cac29558223c7b3cd72f53116d62a2d';
               c_id               | xh 
----------------------------------+----
 0cac29558223c7b3cd72f53116d62a2d |  2
 0cac29558223c7b3cd72f53116d62a2d |  1
(2 rows)
abase2=# select c_id,xh from DB_DATA.result_select_bak where c_id = '1ea8c12e58169105fa93ec1d838b6f07';
               c_id               | xh 
----------------------------------+----
 1ea8c12e58169105fa93ec1d838b6f07 |  9
 1ea8c12e58169105fa93ec1d838b6f07 |  1
(2 rows)
...
經測試發現不管是同一個insert還是不同的insert都有可能生成相同的uuid。

到這一步我開始懷疑是不是伺服器有問題了。但是這種小概率事件真的就發生在我身上了嗎？我還是不太相信小概率事件會發生

轉換角度

想到預設abase安裝擴充套件會有三個uuid函式：uuid_generate_v1()、uuid_generate_v4()、uuid_generate_v1mc()。所以考慮使用select uuid_generate_v1();替換掉uuid_generate_v4()看結果如何。但是報錯找不到該函式。

開始懷疑

是不是外掛的問題呢？

將abase3.5.1自帶的uuid外掛uuid-ossp.so。替換掉/opt/thunisoft/arterybase/3.5/lib/postgresql/uuid-ossp.so、然後重啟資料庫。在DB_DATA下面建立擴充套件函式：create extension “uuid_ossp”

再次測試

執行最開始的儲存過程沒有發現重複uuid、多測試了幾次還是沒有、這個時候感覺找到問題所在了應該就是外掛的問題。

為了驗證正確性然後測試修改後添加了序號的儲存過程發現還是有重複的資料。開始納悶了! 詳細對比這兩函式獲取uuid的方式: 正常獲取、uuid:replace(cast(uuid_generate_v4() as varchar,’-’,’’)) 異常獲取、uuid:replace(public.uuid_generate_v4():text,’-’,’’) 正常獲取:不加schema預設獲取當前DB_DATA下面的uuid_generate_v4()函式。 異常獲取:獲取了public下面的uuid_generate_v4();

檢視public下面的函式

CREATE OR REPLACE FUNCTION "public"."uuid_generate_v4()"
    RETURNS "pg_catalog"."varchar" AS $BODY$BEGIN
            --Routne body goes here...
                RETURN  md5(random()::text || now::text);
END
$BODY
    LANGUAGE 'plpgsql' VOLATILE COST 100;
ALTER FUNCTION "public"."uuid_generate_v4"() OWNER TO "atybase";

對比自帶uuid函式

CREATE OR REPLACE FUNCTION "public"."uuid_generate_v4"()
  RETURNS "pg_catalog"."uuid" AS '$libdir/uuid-ossp', 'uuid_generate_v4'
  LANGUAGE 'c' VOLATILE STRICT  COST 1;
ALTER FUNCTION "public"."uuid_generate_v4"() OWNER TO "sa";

發現問題

觀察可以看到該函式被重新定義了、沒有使用基礎動態連結庫、而是使用了隨機數和當前時間組合md5加密的方式、導致uuid重複。

結語

在安裝abase3.5.1以上版本時預設會再public下面建立uuid函式、直接呼叫即可、不需要再去手動建立。如果在指令碼中使用了set search_path to db_xxx;然後去呼叫uuid_generate_v4(),會報錯找不到該函式、可以使用set search_path to public,db_xxx;同時指定多個schema。

相關推薦

postgresql資料庫uuid重複引發血案

問題背景 、定時任務呼叫儲存過程、將資料插入臨時表時。出現了uuid重複的報錯。 報錯資訊 [SQL]select DB_DATA.PR_SELECT() [Err] ERROR: duplicate key value violates unique constrai

防不勝防：一個空格在資料庫裡可能引發的N重血案

編輯手記：在Oracle DBA的職業生涯中，無數看似簡單的一個疏忽就能夠導致致命的故障和資料損失，一個空格看似很小，可是如果在指令碼執行環境中，就絕對不容輕視。 你可能還記得我們分享過的一個真實案例：一個空格引發的血案。 今天我們來看另外一個和空格有關的案例，基於11.2.0.3版本的測試： 這是一個

postgresql中uuid的使用

href 執行方法 技術 我們 數據庫 官方 sce 命令 img 本文總共介紹兩種方法 ： 1.使用create extension命令 create extension "uuid-ossp" 安裝擴展成功以後，就可以通過uuid_generate_v4()或u

Mysql資料庫查詢重複欄位

select * from promotion_hanging_user_info a where (a.handing_activity_id,a.openid) in (select handing_activity_id,openid from promotion_hanging_u

SpringBoot連線PostgreSql資料庫

目錄 一、介紹 1、情況說明 2、安裝軟體及依賴包  二、配置 連線資料庫 其他情況 一、介紹 1、情況說明 在這裡我使用SpringBoot配置Mybaits連線到PostgreSql資料庫的。我的原始碼也會提供給大家（此文末尾），效果如下

postgresql資料庫中geometry型別的欄位插入經緯度指令碼

在postgresql資料庫中，如果欄位型別是geometry，我們要更新該欄位為經緯度（座標），可以嘗試採取以下指令碼： update device set shape = ST_GeomFromText(‘POINT(108.658463 34.1437)’, 4610) where n

在Windows中使用libpq連線postgresql資料庫

1.首先，編譯libpq 下載原始碼，進入src目錄，interface/libpq/win32.mak 檔案中，mt命令那些行刪掉。 執行 nmake /f win32.mak 在interface/libpq/Release中可以看到libpq.lib 2.服務端配置 修改postgresql.

pg資料庫查詢重複資料並可識別空資料列重複(二)--優化

在上一篇文章中，實現了查詢重複資料與刪除多餘重複資料的sql編寫：http://blog.csdn.net/u011099093/article/details/78596034； 但是經過匯入百萬資料測試，查詢語句直接卡住沒有結果，於是又花了一天時間對sql進行優化，在借鑑瞭如下地址的方法

pg資料庫查詢重複資料並可識別空資料列重複

根據多個欄位查詢重複資料：SELECT A,B,C FROM TABLE WHERE CONDITION GROUP BY A,B,C HAVING COUNT(*)>1 即可，但是現在的需求是： 最終查詢的欄位多於分組欄位，且同一欄位的空值也視為重複。在網上查詢了很多資料，

解決查詢MySQL資料庫中重複資料的問題

今天遇到一個問題，需求是查詢新採集資料中 重複資料 的條數。在採集完資料對資料進行去重查詢時sql結果不正確，因為有一部分sql是在業務程式碼中進行拼接的： “SELECT COUNT(*) FROM (“ + sql + “)_AA；” 之前的sql：SELECT 1 FROM TAB

postgresql資料庫varchar、char、text的比較

名字 描述character varying(n), varchar(n) 變長，有長度限制character(n), char(n) 定長，不足補空白text 變長，無長度限制簡單來說，varchar的長度可變，而char的長度不可變，對於postgresql資料庫來說varchar和char的區別僅僅在於

原始碼安裝postgresql資料庫

一般情況下，postgresql由非root使用者啟動。 1、建立postgres使用者 groupadd postgres useradd -g postgres postgres 下面的操作都在postgres使用者下完成 su postgres 2、解壓原始碼包 tar -xvzf pos

如何從外網訪問本地PostgreSQL資料庫

本地安裝了一個PostgreSQL資料庫，只能在區域網內訪問到，怎樣從外網也能訪問到本地的PostgreSQL資料庫呢？本文將介紹具體的實現步驟。 1. 準備工作 1.1 安裝Java 1.7及以上版本 執行命令java -version檢查Java安裝和配置是否正確。 1.

PostgreSQL資料庫核心分析學習（一）

PostgreSQL 資料庫由連線管理系統（系統控制器）、編譯執行系統、儲存管理系統、事務系統和系統表五大部分組成。 2.1系統表 資料字典是關係資料庫系統管理控制資訊的核心 在postgreSQL資料庫系統中，系統表扮演資料字典的角色 存放結構元資料，

關於python操作mysql和postgresql資料庫的sql 分頁限制語句sql語法問題

@本人使用django開發一個數據庫的管理模組，主要開發兩種資料庫的管理，遇到了一些坑 Python 使用psycopg2操作postgresql ，使用pymysql連線mysql psycopg2 下載 pip install psycopg2 pymysq

檢視postgresql資料庫使用者

SELECT u.usename AS "User name", u.usesysid AS "User ID", CASE WHEN u.usesuper AND u.usecreatedb THEN CAST('superuser, create database' AS pg_ca

Hortonworks中修改Hive使用postgresql資料庫

首先停止Hive服務 從Ambari管理介面上停止Hive服務 修改Hive配置 在Hive -> Configs -> Advanced中，將資料庫改為使用已存在的postgresql資料庫，然後修改資料庫使用者，密碼和資料庫名稱。 建立使用者和資料庫

SpringBoot應用和PostgreSQL資料庫部署到Kubernetes上的一個例子

建立一個名為ads-app-service的服務： 上述Service的yaml檔案裡每個欄位，在Kubernetes的API文件裡有詳細說明。 https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.12/#s

PostgreSQL資料庫備份還原指令碼

本文對資料庫進行的操作主要用到的是PG自帶的pg_dumpall、pg_dump、psql這幾個命令 備份還原過程： 1：備份全域性物件 2: 備份某一個數據庫 3：還原全域性物件 4：還原備份的資料庫 備份詳細過程：    

typescript-koa-postgresql 實現一個簡單的rest風格伺服器 —— 連線 postgresql 資料庫

接上一篇，這裡使用 sequelize 來連線 postgresql 資料庫 1、安裝 sequelize，資料庫驅動 pg yarn add sequelize sequelize-typescript pg reflect-metadata 2、新建配置資料夾