1. 程式人生 > 實用技巧 >解決併發問題,資料庫常用的兩把鎖!

解決併發問題,資料庫常用的兩把鎖!

作者:黃青石 
cnblogs.com/huangqingshi/p/10165409.html

在寫入資料庫的時候需要有鎖,比如同時寫入資料庫的時候會出現丟資料,那麼就需要鎖機制。

資料鎖分為樂觀鎖和悲觀鎖

它們使用的場景如下:

  • 樂觀鎖適用於寫少讀多的情景,因為這種樂觀鎖相當於JAVA的CAS,所以多條資料同時過來的時候,不用等待,可以立即進行返回。

  • 悲觀鎖適用於寫多讀少的情景,這種情況也相當於JAVA的synchronized,reentrantLock等,大量資料過來的時候,只有一條資料可以被寫入,其他的資料需要等待。執行完成後下一條資料可以繼續。

他們實現的方式上有所不同。

樂觀鎖採用版本號的方式,即當前版本號如果對應上了就可以寫入資料,如果判斷當前版本號不一致,那麼就不會更新成功,比如

update table set column = value    
where version=${version}  and otherKey = ${otherKey}

悲觀鎖實現的機制一般是在執行更新語句的時候採用for update方式,比如

update table set column='value' for update

這種情況where條件呢一定要涉及到資料庫對應的索引欄位,這樣才會是行級鎖,否則會是表鎖,這樣執行速度會變慢。

下面我就弄一個spring boot(springboot 2.1.1 + mysql + lombok + aop + jpa)工程,然後逐漸的實現樂觀鎖和悲觀鎖。

併發控制--悲觀鎖和樂觀鎖詳解

假設有一個場景,有一個catalog商品目錄表,然後還有一個browse瀏覽表,假如一個商品被瀏覽了,那麼就需要記錄下瀏覽的user是誰,並且記錄訪問的總數。

表的結構非常簡單:  

create table catalog  (
    id int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵',
    name varchar(50) NOT NULL DEFAULT '' COMMENT '商品名稱',
    browse_count int(11) NOT NULL DEFAULT 0 COMMENT '瀏覽數',
    version int(11) NOT NULL DEFAULT 0 COMMENT '樂觀鎖,版本號',
    PRIMARY KEY(id)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

CREATE table browse (
    id int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵',
    cata_id int(11) NOT NULL COMMENT '商品ID',
    user varchar(50) NOT NULL DEFAULT '' COMMENT '',
    create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '建立時間',
    PRIMARY KEY(id)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

POM.XML的依賴如下:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.1.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.hqs</groupId>
    <artifactId>dblock</artifactId>
    <version>1.0-SNAPSHOT</version>
    <name>dblock</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!-- aop -->
        <dependency>
            <groupId>org.aspectj</groupId>
            <artifactId>aspectjweaver</artifactId>
            <version>1.8.4</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

專案的結構如下:

介紹一下專案的結構的內容:

  • entity包: 實體類包。

  • repository包:資料庫repository

  • service包: 提供服務的service

  • controller包: 控制器寫入用於編寫requestMapping。相關請求的入口類

  • annotation包: 自定義註解,用於重試。

  • aspect包: 用於對自定義註解進行切面。

  • DblockApplication: springboot的啟動類。

  • DblockApplicationTests: 測試類。

咱們看一下核心程式碼的實現,參考如下,使用dataJpa非常方便,集成了CrudRepository就可以實現簡單的CRUD,非常方便,有興趣的同學可以自行研究。

實現樂觀鎖的方式有兩種:

  1. 更新的時候將version欄位傳過來,然後更新的時候就可以進行version判斷,如果version可以匹配上,那麼就可以更新(方法:updateCatalogWithVersion)。

  2. 在實體類上的version欄位上加入version,可以不用自己寫SQL語句就可以它就可以自行的按照version匹配和更新,是不是很簡單。 

public interface CatalogRepository extends CrudRepository<Catalog, Long> {

    @Query(value = "select * from Catalog a where a.id = :id for update", nativeQuery = true)
    Optional<Catalog> findCatalogsForUpdate(@Param("id") Long id);

    @Lock(value = LockModeType.PESSIMISTIC_WRITE) //代表行級鎖
    @Query("select a from Catalog a where a.id = :id")
    Optional<Catalog> findCatalogWithPessimisticLock(@Param("id") Long id);

    @Modifying(clearAutomatically = true) //修改時需要帶上
    @Query(value = "update Catalog set browse_count = :browseCount, version = version + 1 where id = :id " +
            "and version = :version", nativeQuery = true)
    int updateCatalogWithVersion(@Param("id") Long id, @Param("browseCount") Long browseCount, @Param("version") Long version);

}

實現悲觀鎖的時候也有兩種方式:

  1. 自行寫原生SQL,然後寫上for update語句。(方法:findCatalogsForUpdate)

  2. 使用@Lock註解,並且設定值為LockModeType.PESSIMISTIC_WRITE即可代表行級鎖。

還有我寫的測試類,方便大家進行測試:  

package com.hqs.dblock;

import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.boot.test.web.client.TestRestTemplate;
import org.springframework.test.context.junit4.SpringRunner;
import org.springframework.util.LinkedMultiValueMap;
import org.springframework.util.MultiValueMap;

@RunWith(SpringRunner.class)
@SpringBootTest(classes = DblockApplication.class, webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT)
public class DblockApplicationTests {

    @Autowired
    private TestRestTemplate testRestTemplate;

    @Test
    public void browseCatalogTest() {
        String url = "http://localhost:8888/catalog";
        for(int i = 0; i < 100; i++) {
            final int num = i;
            new Thread(() -> {
                MultiValueMap<String, String> params = new LinkedMultiValueMap<>();
                params.add("catalogId", "1");
                params.add("user", "user" + num);
                String result = testRestTemplate.postForObject(url, params, String.class);
                System.out.println("-------------" + result);
            }
            ).start();
        }
    }

    @Test
    public void browseCatalogTestRetry() {
        String url = "http://localhost:8888/catalogRetry";
        for(int i = 0; i < 100; i++) {
            final int num = i;
            new Thread(() -> {
                MultiValueMap<String, String> params = new LinkedMultiValueMap<>();
                params.add("catalogId", "1");
                params.add("user", "user" + num);
                String result = testRestTemplate.postForObject(url, params, String.class);
                System.out.println("-------------" + result);
            }
            ).start();
        }
    }
}

呼叫100次,即一個商品可以瀏覽一百次,採用悲觀鎖,catalog表的資料都是100,並且browse表也是100條記錄。採用樂觀鎖的時候,因為版本號的匹配關係,那麼會有一些記錄丟失,但是這兩個表的資料是可以對應上的。

樂觀鎖失敗後會丟擲ObjectOptimisticLockingFailureException,那麼我們就針對這塊考慮一下重試,下面我就自定義了一個註解,用於做切面。

package com.hqs.dblock.annotation;

import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
public @interface RetryOnFailure {
}

針對註解進行切面,見如下程式碼。我設定了最大重試次數5,然後超過5次後就不再重試。  

package com.hqs.dblock.aspect;

import lombok.extern.slf4j.Slf4j;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.hibernate.StaleObjectStateException;
import org.springframework.orm.ObjectOptimisticLockingFailureException;
import org.springframework.stereotype.Component;

@Slf4j
@Aspect
@Component
public class RetryAspect {
    public static final int MAX_RETRY_TIMES = 5;//max retry times

    @Pointcut("@annotation(com.hqs.dblock.annotation.RetryOnFailure)") //self-defined pointcount for RetryOnFailure
    public void retryOnFailure(){}

    @Around("retryOnFailure()") //around can be execute before and after the point
    public Object doConcurrentOperation(ProceedingJoinPoint pjp) throws Throwable {
        int attempts = 0;

        do {
            attempts++;
            try {
                pjp.proceed();
            } catch (Exception e) {
                if(e instanceof ObjectOptimisticLockingFailureException ||
                        e instanceof StaleObjectStateException) {
                    log.info("retrying....times:{}", attempts);
                    if(attempts > MAX_RETRY_TIMES) {
                        log.info("retry excceed the max times..");
                        throw e;
                    }
                }

            }
        } while (attempts < MAX_RETRY_TIMES);
        return  null;
    }
}

大致思路是這樣了。

關注公眾號Java技術棧回覆"面試"獲取我整理的2020最全面試題及答案。

推薦去我的部落格閱讀更多:

1.Java JVM、集合、多執行緒、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、後端、架構、阿里巴巴等大廠最新面試題

覺得不錯,別忘了點贊+轉發哦!