2. 程式人生 > >數據庫存在即更新的並發處理 - 轉

數據庫存在即更新的並發處理 - 轉

阿新 • • 發佈：2017-10-06
開啟 pre 信息 transacti 提交 -1 lock ria 不能

前言

本節我們來講講並發中最常見的情況存在即更新，在並發中若未存在行記錄則插入，此時未處理好極容易出現插入重復鍵情況，本文我們來介紹對並發中存在就更新行記錄的七種方案並且我們來綜合分析最合適的解決方案。

探討存在就更新七種方案

首先我們來創建測試表

技術分享 
IF OBJECT_ID(‘Test‘) IS NOT NULL
    DROP TABLE Test

CREATE TABLE Test
(
    Id int,
    Name nchar(100),
    [Counter] int,primary key (Id),
    unique (Name)
);
GO
技術分享

解決方案一（開啟事務）

我們統一創建存儲過程通過來SQLQueryStress來測試並發情況，我們來看第一種情況。

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    BEGIN TRANSACTION
    IF EXISTS ( SELECT  1
                FROM    Test
                WHERE   Id = @Id )
        UPDATE  Test
        SET     [Counter] = [Counter] + 1
        WHERE   Id = @Id;
    ELSE
        INSERT  Test
                ( Id, Name, [Counter] )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

技術分享

技術分享

同時開啟100個線程和200個線程出現插入重復鍵的幾率比較少還是存在。

解決方案二（降低隔離級別為最低隔離級別UNCOMMITED）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED
    BEGIN TRANSACTION
    IF EXISTS ( SELECT  1
                FROM    Test
                WHERE   Id = @Id )
        UPDATE  Test
        SET     [Counter] = [Counter] + 1
        WHERE   Id = @Id;
    ELSE
        INSERT  Test
                ( Id, Name, [Counter] )
        VALUES  ( @Id, @name, 1 );
    COMMIT
GO
技術分享

此時問題依舊和解決方案一無異（如果降低級別為最低隔離級別，如果行記錄為空，前一事務如果未進行提交，當前事務也能讀取到該行記錄為空，如果當前事務插入進去並進行提交，此時前一事務再進行提交此時就會出現插入重復鍵問題）

技術分享

解決方案三（提升隔離級別為最高級別SERIALIZABLE）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    SET TRANSACTION ISOLATION LEVEL SERIALIZABLE
    BEGIN TRANSACTION
    IF EXISTS ( SELECT  1
                FROM    dbo.Test
                WHERE   Id = @Id )
        UPDATE  dbo.Test
        SET     [Counter] = [Counter] + 1
        WHERE   Id = @Id;
    ELSE
        INSERT  dbo.Test
                ( Id, Name, [Counter] )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

在這種情況下更加糟糕，直接到會導致死鎖

技術分享

此時將隔離級別提升為最高隔離級別會解決插入重復鍵問題，但是對於更新來獲取排它鎖而未提交，而此時另外一個進程進行查詢獲取共享鎖此時將造成進程間相互阻塞從而造成死鎖，所以從此知最高隔離級別有時候能夠解決並發問題但是也會帶來死鎖問題。

解決方案四（提升隔離級別+良好的鎖）

此時我們再來在添加最高隔離級別的基礎上增添更新鎖，如下：

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    SET TRANSACTION ISOLATION LEVEL SERIALIZABLE
    BEGIN TRANSACTION
    IF EXISTS ( SELECT  1
                FROM    dbo.Test WITH(UPDLOCK)
                WHERE   Id = @Id )
        UPDATE  dbo.Test
        SET     [Counter] = [Counter] + 1
        WHERE   Id = @Id;
    ELSE
        INSERT  dbo.Test
                ( Id, Name, [Counter] )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

技術分享

運行多次均未發現出現什麽異常，通過查詢數據時使用更新鎖而非共享鎖，這樣的話一來可以讀取數據但不阻塞其他事務，二來還確保自上次讀取數據後數據未被更改，這樣就解決了死鎖問題。貌似這樣的方案是可行得，如果是高並發不知是否可行。

解決方案五（提升隔離級別為行版本控制SNAPSHOT）

技術分享 
ALTER DATABASE UpsertTestDatabase
SET ALLOW_SNAPSHOT_ISOLATION ON
 
ALTER DATABASE UpsertTestDatabase
SET READ_COMMITTED_SNAPSHOT ON
GO 

IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    BEGIN TRANSACTION
    IF EXISTS ( SELECT  1
                FROM    dbo.Test
                WHERE   Id = @Id )
        UPDATE  dbo.Test
        SET     [Counter] = [Counter] + 1
        WHERE   Id = @Id;
    ELSE
        INSERT  dbo.Test
                ( Id, Name, [Counter] )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

上述解決方案也會出現插入重復鍵問題不可取。

解決方案六（提升隔離級別+表變量）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
    DECLARE @updated TABLE ( i INT );
 
    SET TRANSACTION ISOLATION LEVEL SERIALIZABLE;
    BEGIN TRANSACTION
    UPDATE  Test
    SET     [Counter] = [Counter] + 1
    OUTPUT  DELETED.Id
            INTO @updated
    WHERE   Id = @Id;
 
    IF NOT EXISTS ( SELECT  i
                    FROM    @updated )
        INSERT  INTO Test
                ( Id, Name, counter )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

技術分享

技術分享

經過多次認證也是零錯誤，貌似通過表變量形式實現可行。

解決方案七（提升隔離級別+Merge）

通過Merge關鍵來實現存在即更新否則則插入，同時我們應該註意設置隔離級別為 SERIALIZABLE 否則會出現插入重復鍵問題，代碼如下：

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
    SET TRAN ISOLATION LEVEL SERIALIZABLE 
    BEGIN TRANSACTION
    MERGE Test AS [target]
    USING
        ( SELECT    @Id AS Id
        ) AS source
    ON source.Id = [target].Id
    WHEN MATCHED THEN
        UPDATE SET
               [Counter] = [target].[Counter] + 1
    WHEN NOT MATCHED THEN
        INSERT ( Id, Name, [Counter] )
        VALUES ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

多次認證無論是並發100個線程還是並發200個線程依然沒有異常信息。

總結

本節我們詳細討論了在並發中如何處理存在即更新，否則即插入問題的解決方案，目前來講以上三種方案可行。

解決方案一（最高隔離級別 + 更新鎖）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    BEGIN TRANSACTION;
 
    UPDATE  dbo.Test WITH ( UPDLOCK, HOLDLOCK )
    SET     [Counter] = [Counter] + 1
    WHERE   Id = @Id;
 
    IF ( @@ROWCOUNT = 0 )
        BEGIN
            INSERT  dbo.Test
                    ( Id, Name, [Counter] )
            VALUES  ( @Id, @Name, 1 );
        END
 
    COMMIT
GO
技術分享

解決方案二（最高隔離級別 + 表變量）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
    DECLARE @updated TABLE ( i INT );
 
    SET TRANSACTION ISOLATION LEVEL SERIALIZABLE;
    BEGIN TRANSACTION
    UPDATE  Test
    SET     [Counter] = [Counter] + 1
    OUTPUT  DELETED.id
            INTO @updated
    WHERE   id = @id;
 
    IF NOT EXISTS ( SELECT  i
                    FROM    @updated )
        INSERT  INTO Test
                ( Id, Name, counter )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

解決方案三（最高隔離級別 + Merge）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
    SET TRAN ISOLATION LEVEL SERIALIZABLE 
    BEGIN TRANSACTION
    MERGE Test AS [target]
    USING
        ( SELECT    @Id AS Id
        ) AS source
    ON source.Id = [target].Id
    WHEN MATCHED THEN
        UPDATE SET
               [Counter] = [target].[Counter] + 1
    WHEN NOT MATCHED THEN
        INSERT ( Id, Name, [Counter] )
        VALUES ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

暫時只能想到這三種解決方案，個人比較推薦方案一和方案三， 請問您有何高見，請留下您的評論若可行，我將進行後續補充。

2017-06-03更新

本博文的評論非常精彩，同時對於小菜的我又重新學習了下存在即更新反之則插入的解決方案。本文重新更新已經過了兩天，期間我是一直在看這方面的東西更加深入的理解有些基礎方面的東西還是說的太籠統並且是我自身不是很理解而導致，菜不可怕，可怕的是還不深入學習自認為自己的是對的，你說呢。

首先我們得理解UPDLOCK和HOLDLOCK鎖的作用是什麽，HOLDLOCK類似於SERIALIZABLE隔離級別，對於共享鎖我們是可以讀，但是不能進行更新和刪除和插入直到當前並發事務完成，而UPDLOCK園中博文的解釋：是允許您讀取數據（不阻塞其它事務）並在以後更新數據，同時確保自從上次讀取數據後數據沒有被更改。當我們用它來讀取記錄時可以對取到的記錄加上更新鎖，從而加上鎖的記錄在其它的線程中是不能更改的只能等本線程的事務結束後才能更改。通俗易懂點說，它不會阻塞並發的查詢和插入操作，但是會阻塞更新或者刪除對於當前事務查詢出的數據，當查詢到該數據存在時則有更新鎖切換到排它鎖。所以對於上述結尾總結的三種解決方案，我們再來闡述下。

解決方案一（HOLDLOCK）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    BEGIN TRANSACTION;
 
    UPDATE  dbo.Test WITH ( HOLDLOCK )
    SET     [Counter] = [Counter] + 1
    WHERE   Id = @Id;
 
    IF ( @@ROWCOUNT = 0 )
        BEGIN
            INSERT  dbo.Test
                    ( Id, Name, [Counter] )
            VALUES  ( @Id, @Name, 1 );
        END
 
    COMMIT
GO
技術分享

如果我們未加上HOLDLOCK鎖提示，雖然UPDATE會獲取排它鎖，但是排它鎖不會持續到事務結束一直保持著所以會導致插入重復鍵的問題，當我們加上HOLDLOCK鎖提示上述也說到類似悲觀並發中的最高隔離級別，該鎖提示一直會持續到事務結束，當有並發請求過來時，若此時查詢到數據存在則會進行更新操作但是事務還未進行提交，此時其他請求將會也查到該行記錄存在，但是會被當前的事務更新操作鎖阻塞，若此時查詢到數據不存在時同理如此。

解決方案二（UPDLOCK + HOLDLOCK）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
 
    BEGIN TRANSACTION
    IF EXISTS ( SELECT  1
                FROM    dbo.Test WITH(UPDLOCK, HOLDLOCK)
                WHERE   Id = @Id )
        UPDATE  dbo.Test
        SET     [Counter] = [Counter] + 1
        WHERE   Id = @Id;
    ELSE
        INSERT  dbo.Test
                ( Id, Name, [Counter] )
        VALUES  ( @Id, @Name, 1 );
    COMMIT
GO
技術分享

對於上述查詢對比第一種解決方案我們加上了UPDLOCK更新鎖代替SELECT的共享鎖，目的是當所傳遞的變量Id所查詢的行記錄不存在時不會導致阻塞，讓其進行插入，也就是說不阻塞其他事務的插入並確保自上次以來行記錄未被修改過，對於HOLDLOCK為了確保一直到事務釋放鎖，從而達到我們的期望。總結起來一句話，如果查詢期間行記錄存在則鎖定的資源則查詢存在的行記錄上，如果查詢期間行記錄不存在，那麽通過HOLDLOCK來獲取主鍵上的範圍鎖來防止在釋放鎖之前插入重復鍵，所以UPDLOCK為了解決並發更新不阻塞其他事務查詢，HOLDLOCK防止並發插入重復鍵。

解決方案三（SERIALIZABLE + Merge）

技術分享 
IF OBJECT_ID(‘TestPro‘) IS NOT NULL
    DROP PROCEDURE TestPro;
GO
 
CREATE PROCEDURE TestPro ( @Id INT )
AS
    DECLARE @Name NCHAR(100) = CAST(@Id AS NCHAR(100))
    BEGIN TRANSACTION
    MERGE Test WITH(SERIALIZABLE ) AS [target]
    USING
        ( SELECT    @Id AS Id
        ) AS source
    ON source.Id = [target].Id
    WHEN MATCHED THEN
        UPDATE SET
               [Counter] = [target].[Counter] + 1
    WHEN NOT MATCHED THEN
        INSERT ( Id, Name, [Counter] )
        VALUES ( @Id, @Name, 1 );
    COMMIT
GO

數據庫存在即更新的並發處理 - 轉

相關推薦

數據庫存在即更新的高並發處理 - 轉

都得 uid 增加 出了 驗證 snapshot 一個 這樣的 blank 這篇文章的主要內容，來自與其他人的討論。 　　軟件系統的開發或設計時，容易遇到有並發的情況。有時候需要刻意去避免，防止數據錯誤。比如超市賣商品，可能兩個櫃臺同時賣出一款礦泉水，如果軟件系統後臺需要

數據庫存在即更新的並發處理 - 轉

開啟 pre 信息 transacti 提交 -1 lock ria 不能 前言 本節我們來講講並發中最常見的情況存在即更新，在並發中若未存在行記錄則插入，此時未處理好極容易出現插入重復鍵情況，本文我們來介紹對並發中存在就更新行記錄的七種方案並且我們來綜合分析最合適的解決

Ubuntu上使用Redis數據庫存儲SessionID並實現Session共享

del sudo session共享 www. ins start data exp ssp p { margin-bottom: 0.1in; direction: ltr; color: #00000a; line-height: 120%; text-align: l

[記錄]優化Linux 的內核參數來提高服務器並發處理能力

運維技術 blog pri mps 決定 uid efault 接口 般的 優化Linux 的內核參數來提高服務器並發處理能力PS：在服務器硬件資源額定有限的情況下，最大的壓榨服務器的性能，提高服務器的並發處理能力，是很多運維技術人員思考的問題。要提高Linux 系統下的負

EF Core下利用Mysql進行數據存儲在並發訪問下的數據同步問題

sta 分享 AC point 解釋 evel post mysql數據庫 cor 小故事 在開始講這篇文章之前，我們來說一個小故事，純素虛構（真實的存錢邏輯並非如此） 小劉發工資後，趕忙拿著現金去銀行，準備把錢存起來，而與此同時，小劉的老婆劉嫂知道小劉的品性，知道他發

數據庫讀寫並發控制

寫鎖 外部 相同 nbsp try 丟失 重復 lock 行鎖 在數據庫中，並發控制是指在多個用戶/進程/線程同時對數據庫進行操作時，如何保證事務的一致性和隔離性的，同時最大程度地並發。 當多個用戶/進程/線程同時對數據庫進行操作時，會出現3種沖突情形： 讀-讀，不存在任

數據挖掘_並行並發介紹和同步異步介紹

切換 效率 影響 height 我們 挖掘 com 通過 得到 前面跟大家講的request s和spynner都是單進程（單線程）的順序抓取，而並發和並行執行的異步抓取會極大地提高抓取效率。 並行和並發 並發和並行使兩個相似的概念，並發是指在一個時間段內發生若幹事

PHP面試（二）：程序設計、框架基礎知識、算法與數據結構、高並發解決方案類

表設計 工作原理 結構 單一入口 php 能力 高並發解決方案 數據表 缺點 一、程序設計 1、設計功能系統——數據表設計、數據表創建語句、連接數據庫的方式、編碼能力 二、框架基礎知識 1、MVC框架基本原理——原理、常見框架、單一入口的工作原理、模板引擎的理解 2、常見框

數據庫 之 高並發環境下的規則

使用 能夠 sql 比較 join 自己 很多 業務場景 好的 原文:數據庫 之 高並發環境下的規則本文大部分轉至沈劍老師，加上自己的一些見解。 本文前提 高並發環境 規則要點 1） 數據庫字符集使用utf8mb4 無亂碼風險、萬國碼 2）禁止使用存

Super CSV 線程池高並發處理大批量數據

CSV super-csv 批量處理 並發處理 csv大數據 Super CSV是一個用於處理CSV文件的Java開源項目。它完全圍繞面向對象的思想進行設計，因此可以利用你的面向對象代碼來使得處理CSV文件變得更加簡易。它支持輸入/輸出類型轉換、數據完整性校驗，支持從任何地方以任何編碼讀寫

Python爬蟲抓取東方財富網股票數據並實現MySQL數據庫存儲

alt 插入 pytho width 重新 tab 空值 utf word Python爬蟲可以說是好玩又好用了。現想利用Python爬取網頁股票數據保存到本地csv數據文件中，同時想把股票數據保存到MySQL數據庫中。需求有了，剩下的就是實現了。 在開始之前，保證已經

Linux(Centos )的網絡內核參數優化來提高服務器並發處理能力【轉】

正在 數量 庫服務器 sdn 正常 般的 優化 trie 字數 簡介 提高服務器性能有很多方法，比如劃分圖片服務器，主從數據庫服務器，和網站服務器在服務器。但是硬件資源額定有限的情況下，最大的壓榨服務器的性能，提高服務器的並發處理能力，是很多運維技術人員思考的問題。要提高

Linux(debian)的網絡內核參數優化來提高服務器並發處理能力

log 未收到 遇到 流量 缺省值 能力 網站 方法 網絡接口 提高服務器性能有很多方法，比如劃分圖片服務器，主從數據庫服務器，和網站服務器在服務器。但是硬件資源額定有限的情況下，最大的壓榨服務器的性能，提高服務器的並發處理能力，是很多運維技術人員思考的問題。 要提高Lin

PCB MS SQL 排序應用---相鄰數據且相同合並處理

bubuko 分享 數據 with 排序 num 要求 數據處理 轉換 這是一個很有趣SQL數據處理應用,具體需求如下 ERP需要工程將物料編碼相鄰的編碼合並求和BOM用量,巧妙的用到了已有排序號與分組排序號之間的差值求解 示例： 原數據： 要求轉換： 實際轉換後數據：

通過mybatis 往數據庫存date類型數據報錯處理

null 方法 err 報錯處理 util argument tin base ons Caused by: org.apache.ibatis.exceptions.PersistenceException: ### Error updating database. C

阿裏雲數據管理DMS企業版發布年度重大更新 多項功能全面升級

更新 快速 以及 mar 靈活 全面 mongodb 設計 賬號密碼 隨著企業規模和人員擴充，您是否遇到這些問題：企業員工還在使用數據庫賬號直接操作數據庫？人員流動導致運維人員頻繁維護數據庫賬號密碼？所有數據庫變更還在等DBA集中執行，導致研發效率日益低下。 2月27日，阿

數據庫存儲過程、觸發器、連接

upd 事件 連接 存儲 安全 for after 相關 用戶 存儲過程：存儲過程就是編譯好了的一些sql語句。1.存儲過程因為SQL語句已經預編繹過了，因此運行的速度比較快。2. 可保證數據的安全性和完整性。通過存儲過程可以使沒有權限的用戶在控制之下間接地存取數據庫，從

數據結構的合並

基於 問題 tro 重疊 span 區間 特殊性 nlogn bzoj3 引言 有一類經典的數據結構問題，要求高效地支持以下幾種操作： 1.新建一個數據結構 2.將兩個數據結構的信息合並（要求合並操作滿足交換律、結合律） 3.在數據結構中查詢某些信息 這類問題有時

MYSQL，數據庫存儲引擎！

mem com 數據庫 alter 開發 負數 char lte 命令行 本人安裝mysql版本為：mysql Ver 14.14 Distrib 5.7.18, for Win64 (x86_64)，查看mysql的版本號方式：cmd--》mysql --version

10、管理數據庫存儲(行遷移及行連接)

管理數據庫存儲(行遷移及行連接)管理數據庫存儲1block=8192bytes案例1：行遷移1、表中數據如何存儲create table test as select * from hr.employees;create index idx_test on test(employee_id);只看執行計劃，不