緣起

最近做一個專案，類似某度雲盤，另外附加定製功能，本人負責雲盤相關功能實現，這個專案跟雲盤不同的是，以專案為分配許可權的單位，同一個專案及子目錄所有有許可權的使用者可以同時操作所有檔案，這樣就很容易出現併發操作，而且表結構設計的時候，定下來檔案和資料夾都有個path欄位，儲存的是所在父級資料夾路徑，這樣檢索方便，重新命名和移動比較麻煩。

如下，例如甲同學正在移動專案下C資料夾，而此時乙同學也在操作專案下D下的d.txt檔案，這樣就會出現問題，所以需要分散式鎖控制，甲在操作C資料夾的時候，C資料夾所有子檔案和包含C資料夾的父資料夾都被鎖住，如圖將會被鎖定的資料夾和子檔案有：A、C、c.txt、D、E、d.txt，其中a.txt和B未被鎖定，這個是移動的情況，如下表格列出其他情況.

符號解釋：√：可以操作，×：不可以操作，/：互相不影響

整體解釋：例如第一行，意思是：對於A這個資料夾，當第一個人進行新建操作的時候，其他人同時進行新建、上傳、移動檔案、複製檔案、重新命名檔案、刪除檔案是允許的，移動資料夾、複製資料夾、重新命名資料夾、刪除資料夾是不允許的，回收站清除和新建操作是互不影響的。

思考和調研

分散式鎖常見的三種實現方式：資料庫、zookeeper/etcd（臨時有序節點）、redis（setnx/lua指令碼），各有千秋。

資料庫實現分散式鎖

實現

原理簡單易實現，建立一張lock表，儲存鎖定的資源、上鎖物件、獲取鎖的資源、獲取鎖時間等，獲取鎖時查詢該資源是否存在記錄，存在且未過失效時間則獲取鎖失敗，不存在則插入一條資料並且獲取鎖成功；釋放鎖則更簡單，刪除鎖資料即可。

缺點

• 釋放鎖刪除資料時，會出現死鎖情況

優點

• 實現簡單

zookeeper/etcd實現分散式鎖

詳見zookeeper總結

redis實現分散式鎖

詳見Redis總結

分散式資料夾鎖實現過程

基於開文處所列情況，要覆蓋所有複雜情況很難，但是實現基本的資料夾鎖是必須的，故選擇了redis+lua指令碼，具體程式碼如下

java獲取鎖工具類

/**
 * redis工具類
 */
public class RedisLockUtils {

    static final Long SUCCESS = 1L;
    static final String LOCKED_HASH = "cs:lockedHashKey";
    static final String GET_LOCK_LUA_RESOURCE = "/lua/getFileLock.lua";
    static final String RELEASE_LOCK_LUA_RESOURCE = "/lua/releaseFileLock.lua";
    static final Logger LOG = LoggerFactory.getLogger(RedisLockUtils.class);
    
    /**
     * 獲取資料夾鎖
     * @param redisTemplate
     * @param lockProjectId
     * @param lockKey
     * @param requestValue
     * @param expireTime 單位：秒
     * @return
     */
    public static boolean getFileLock(RedisTemplate redisTemplate, Long lockProjectId, String lockKey, String requestValue, Integer expireTime) {

        LOG.info("start run lua script，{{}} start request lock",lockKey);
        long start = System.currentTimeMillis();
        DefaultRedisScript<String> luaScript =new DefaultRedisScript<>();
        luaScript.setLocation(new ClassPathResource(GET_LOCK_LUA_RESOURCE));
        luaScript.setResultType(String.class);

        Object result = redisTemplate.execute(
                luaScript,
                Arrays.asList(lockKey, LOCKED_HASH + lockProjectId),
                requestValue,
                String.valueOf(expireTime),
                String.valueOf(System.currentTimeMillis())
        );
        boolean getLockStatus = SUCCESS.equals(result);

        LOG.info("{{}} cost time {} ms，request lock result：{}",lockKey,(System.currentTimeMillis()-start), getLockStatus);
        return getLockStatus;
    }

    /**
     * 釋放資料夾鎖
     * @param redisTemplate
     * @param lockProjectId
     * @param lockKey
     * @param requestValue
     * @return
     */
    public static boolean releaseFileLock(RedisTemplate redisTemplate, Long lockProjectId, String lockKey, String requestValue) {

        DefaultRedisScript<String> luaScript =new DefaultRedisScript<>();
        luaScript.setLocation(new ClassPathResource(RELEASE_LOCK_LUA_RESOURCE));
        luaScript.setResultType(String.class);

        Object result = redisTemplate.execute(
                luaScript,
                Arrays.asList(lockKey, LOCKED_HASH + lockProjectId),
                requestValue
        );
        boolean releaseLockStatus = SUCCESS.equals(result);

        LOG.info("{{}}release lock result：{}", lockKey, releaseLockStatus);
        return releaseLockStatus;
    }

}

lua指令碼

獲取資料夾鎖

入參說明

requestKey為請求鎖的路徑，requestValue為請求鎖的value，應為請求鎖時生成的UUID，確保解鎖人只能為上鎖人，lockedKeys為存放所有鎖的雜湊表的key，這裡用常量加專案id的方式，確保一個專案的所有鎖存在一個雜湊表裡面，expireTime為鎖的過期時間，nowTime為當前時間，由於lua腳本里面獲取當前時間消耗效能且獲取的是redis伺服器上的當前時間，可能不準確。

思路說明

首先，通過GET key判斷是否有人正在操作這個資料夾，若有人在操作則直接返回0（獲取鎖失敗），否則獲取存放該專案鎖的雜湊表裡面的所有key，遍歷所有key，通過lua指令碼的string.find函式對比該key和請求的key是否存在包含或被包含關係，若存在包含關係且未失效，則返回0（獲取鎖失敗），否則則可獲取鎖，設定key和過期時間及存入雜湊表（雜湊表記憶體放請求鎖的key和請求時間），最後返回1（獲取鎖成功）。

例如請求上圖中專案下的C資料夾的鎖，請求路徑為：專案/A/C，當另一個人想操作D資料夾，請求路徑為：專案/A/C/D，此時查詢到儲存這個專案所有鎖定key的雜湊表，裡面包含專案/A/C這個key，這兩個key通過lua函式string.find發現專案/A/C/D包含專案/A/C，且未到過期時間，則獲取鎖失敗，否則獲取鎖成功。

local requestKey=KEYS[1]
local lockedKeys=KEYS[2]
local requestValue=ARGV[1]
local expireTime=ARGV[2]
local nowTime=ARGV[3]
if redis.call('get',requestKey)
then
    return 0
end
local lockedHash = redis.call('hkeys',lockedKeys)
for i=1, #lockedHash do
    if string.find(requestKey,lockedHash[i]) or string.find(lockedHash[i],requestKey)
    then
        local lockTime = redis.call('hget',lockedKeys,lockedHash[i])
        if (nowTime-lockTime) >= expireTime * 1000
        then
            redis.call('hdel',lockedKeys,lockedHash[i])
        else
            return 0
        end
    end
end
redis.call('set',requestKey,requestValue)
redis.call('expire',requestKey,expireTime)
redis.call('hset',lockedKeys,requestKey,nowTime)
return 1

釋放資料夾鎖

入參說明

requestKey為請求鎖的路徑，requestValue為請求鎖的value，應為請求鎖時生成的UUID，確保解鎖人只能為上鎖人，lockedKeys為存放所有鎖的雜湊表的key，這裡用常量加專案id的方式，確保一個專案的所有鎖存在一個雜湊表裡面。

local requestKey=KEYS[1]
local lockedKeys=KEYS[2]
local requestValue=ARGV[1]
if redis.call('get', requestKey) == requestValue
then
    redis.call('hdel', lockedKeys,requestKey)
    return redis.call('del',requestKey)
else
    return 0
end

優點

1. 靈活，鎖定的範圍可以隨requestKey變化而變化
2. 效能不錯，經測試除了第一次lua指令碼未快取耗時較長，第二次之後則在10ms左右可得到請求結果

缺點

1. 可靠性依賴redis
2. 不是可重入鎖
3. 維護成本較高，需熟知redis的5種資料結構及lua指令碼

總結

通過單元自測和測試環境測試基本可以確保多數情況下的多使用者併發操作檔案只有一人能進行有效操作，保證了資料的安全性。經過這次實踐，對分散式鎖有了更深入的瞭解。

更多資訊可以關注我的個人部落格：逸竹小站或逸竹小站

相關推薦

Redis實現分散式資料夾鎖

緣起 最近做一個專案，類似某度雲盤，另外附加定製功能，本人負責雲盤相關功能實現，這個專案跟雲盤不同的是，以專案為分配許可權的單位，同一個專案及子目錄所有有許可權的使用者可以同時操作所有檔案，這樣就很容易出現併發操作，而且表結構設計的時候，定下來檔案和資料夾都有個path欄位，儲存的是所在父級資料夾路徑，這

【redis】使用redisTemplate優雅地操作redis及使用redis實現分散式鎖

前言: 上篇已經介紹了redis及如何安裝和叢集redis,這篇介紹如何通過工具優雅地操作redis. Long Long ago,程式猿們還在通過jedis來操作著redis,那時候的猿類,一個個累的沒日沒夜,重複的造著輪子,忙得沒時間陪家人,終於有一天猿類的春天來了,spring家族的r

基於Redis實現分散式鎖

背景 在很多網際網路產品應用中，有些場景需要加鎖處理，比如：秒殺，全域性遞增ID，樓層生成等等。大部分的解決方案是基於DB實現的，Redis為單程序單執行緒模式，採用佇列模式將併發訪問變成序列訪問，且多客戶端對Redis的連線並不存在競爭關係。其次Redis提供一些命令SETNX，GETSET，可以方便

利用Redis實現分散式鎖 使用mysql樂觀鎖解決併發問題

寫在最前面 我在之前總結冪等性的時候，寫過一種分散式鎖的實現，可惜當時沒有真正應用過，著實的心虛啊。正好這段時間對這部分實踐了一下，也算是對之前填坑了。 分散式鎖按照網上的結論，大致分為三種：1、資料庫樂觀鎖； 2、基於Redis的分散式鎖；3.、基於ZooKeeper的分散式鎖； 關於樂觀鎖的實現其實

利用Redis實現分散式鎖

為什麼需要分散式鎖？ 在傳統單體應用單機部署的情況下，可以使用Java併發相關的鎖，如ReentrantLcok或synchronized進行互斥控制。但是，隨著業務發展的需要，原單體單機部署的系統，漸漸的被部署在多機器多JVM上同時提供服務，這使得原單機部署情況下的併發控制鎖策略失效了，為了解決這個問

如何用 Redis 實現分散式鎖和超時情況處理

目前各種分散式的架構和微服務架構無處不在，在這種類似架構中處理併發和分散式併發問題，本場 Chat 就主要以 Redis 為例，使用分散式鎖的方式如何處理併發問題和避免超時情況的出現，主要從以下幾個方面講述： Redis 的 Setnx 命令是如何實現分散式鎖的； Setnx 的實現鎖的

ZooKeeper分散式鎖簡單實踐 利用Redis實現分散式鎖

寫在最前面 前幾周寫了篇 利用Redis實現分散式鎖 ，今天簡單總結下ZooKeeper實現分散式鎖的過程。其實生產上我只用過Redis或者資料庫的方式，之前還真沒了解過ZooKeeper怎麼實現分散式鎖。這周簡單寫了個小Demo，更堅定了我繼續使用Redis的信心了。 ZooKeep

分散式鎖-使用Redis實現分散式鎖

使用Redis實現分散式鎖 關於分散式鎖的實現，我的前一篇文章講解了如何使用Zookeeper實現分散式鎖。關於分散式鎖的背景此處不再做贅述，我們直接討論下如何使用Redis實現分散式鎖。 關於Redis，筆主不打算做長篇大論的介紹，只介紹下Redis優秀的特性

REDIS 學習（10）流程圖解使用redis實現分散式鎖

redis作為集中式快取，可以通過它來實現分散式鎖。 首先用到的redis操作有： setnx key value:      當key不存在的時候生效並返回1，當已經有此key的時候返回0 getset key value:    

RedLock演算法-使用redis實現分散式鎖服務

譯自Redis官方文件 在多執行緒共享臨界資源的場景下，分散式鎖是一種非常重要的元件。 許多庫使用不同的方式使用redis實現一個分散式鎖管理。 其中有一部分簡單的實現方式可靠性不足，可以通過一些簡單的修改提高其可靠性。 這篇文章介紹了一種指導性的redis分散式鎖演算法RedLock，RedL

Redis實現分散式鎖（spring定時任務叢集應用Redis分散式鎖）

         之前2片文章介紹了 描述：              不管用不用動態執行，單機服務都是沒有問題的，但是如果服務是叢集模式下，那麼一個任務在每臺機器都會執行一次，這肯定不是我們需要的，我們要實現的是整個叢集每次只有一個任務執行成功，但是spring

【Redis實現分散式鎖】Redis實現分散式鎖

前言 分散式鎖一般有三種實現方式：1. 資料庫樂觀鎖；2. 基於Redis的分散式鎖；3. 基於ZooKeeper的分散式鎖。本篇部落格將介紹第二種方式，基於Redis實現分散式鎖。雖然網上已經有各種介紹Redis分散式鎖實現的部落格，然而他們的實現卻有著各種各樣的問題，為

使用redis實現分散式鎖

大致思路： 加鎖： 利用set方法的nx,px引數: nx引數表示當key不存在時才成功,key存在時失敗，故保證了排他性. px引數表示設定過期時間,保證了執行緒出現異常無法釋放鎖(刪除key) 釋放鎖： 不能簡單地刪除鍵，因為可能出現這樣的情況:執行緒成功se

Redis實現分散式鎖機制

Redis實現分散式鎖思路 　　常用的是redis函式是setnx()，這個應該是實現分散式鎖最主要的函式。首先是將某一業務標識名作為鍵存到redis裡，併為其設個過期時間，如果是還有加鎖請求過來，先是通過setnx()看看是否能將鎖的標識插入到redis裡，可

基於 Redis 實現分散式鎖

什麼是Redis？ Redis通常被稱為資料結構伺服器。這意味著Redis通過一組命令提供對可變資料結構的訪問，這些命令使用帶有TCP套接字和簡單協議的伺服器 - 客戶端模型傳送。因此，不同的程序可以以共享方式查詢和修改相同的資料結構。 Redis中實現的資料結構有一些特殊屬性：

redis實現分散式鎖（基於lua指令碼操作）

lua指令碼能保證redis的原子性操作，redis使用springboot的redistemplate /** * create by abel * create date 2018/11/16 11:28 * describe:請輸入專案描述 */ public class

什麼是分散式鎖？Redis實現分散式鎖詳解

　　   　　在很多場景中，我們為了保證資料的最終一致性，需要很多的技術方案來支援，比如分散式事務、分散式鎖等。那具體什麼是分散式鎖，分散式鎖應用在哪些業務場景、如何來實現分散式鎖呢?今天繼續由陳睿|mikechen來繼續分享Redis這個系列。 　　01.什麼是分散式鎖

redis實現分散式鎖

/** * 分散式鎖的簡單實現程式碼 */ public class DistributedLock { private final JedisPool jedisPool; public DistributedLock(JedisPool

高併發場景系列(一) 利用redis實現分散式事務鎖,解決高併發環境下減庫存

問題描述:某電商平臺,首發一款新品手機,每人限購2臺,預計會有10W的併發,在該情況下,如果扣減庫存,保證不會超賣 方案一 利用資料庫鎖機制,對記錄進行鎖定,再進行操作  SELECT * from goods where ID =1 for updat

Redis實現分散式鎖與任務佇列的思路

一, 實現思路 1.Redis實現分散式鎖思路 思路很簡單，主要用到的redis函式是setnx()，這個應該是實現分散式鎖最主要的函式。首先是將某一任務標識名（這裡用Lock:order作為標識名的例子）作為鍵存到redis裡，併為其設個過期時間，如果是還有Lock:order請求過來，先