雷神釋出 IGER Pro 16 輕薄本:2.5K 高刷屏/H35 處理器,4999 起
一、什麼是分散式系統?
分散式系統是由一組通過網路進行通訊、為了完成共同的任務而協調工作的計算機節點組成的系統。分散式系統的出現是為了用廉價的、普通的機器完成單個計算機無法完成的計算、儲存任務。其目的是利用更多的機器,處理更多的資料。
分散式架構圖
首先需要明確的是,只有當單個節點的處理能力無法滿足日益增長的計算、儲存任務的時候,且硬體的提升(加記憶體、加磁碟、使用更好的CPU)高昂到得不償失的時候,應用程式也不能進一步優化的時候,我們才需要考慮分散式系統。
分散式系統的幾個特性:可擴充套件性、高效能、高可用、一致性。這幾個特性也是分散式系統的衡量指標,正是為了在不同的程度上滿足這些特性(或者說達到這些指標),才會設計出各種各樣的演算法、協議,然後根據業務的需求在這些特性間平衡。
二、分散式鎖又是怎麼產生的呢?
現如今大多數網際網路系統都是分散式部署的,分散式部署確實能帶來效能和效率上的提升,但是當某個資源在多系統之間,具有共享性的時候,為了保證大家訪問這個資源資料是一致的,這個時候我們需要用分散式鎖來讓多客戶端互斥的對共享資源進行訪問。
目前主流的有三種分散式鎖,從實現的複雜度上來看,從上往下難度依次增加:
-
基於資料庫實現
-
基於 Redis 實現
-
基於 ZooKeeper 實現
三、基於Redis實現分散式鎖
可靠性
首先,為了確保分散式鎖可用,我們至少要確保鎖的實現同時滿足以下四個條件:
- 互斥性。在任意時刻,只有一個客戶端能持有鎖。
- 不會發生死鎖。即使有一個客戶端在持有鎖的期間崩潰而沒有主動解鎖,也能保證後續其他客戶端能加鎖。
- 具有容錯性。只要大部分的Redis節點正常執行,客戶端就可以加鎖和解鎖。
- 解鈴還須繫鈴人。加鎖和解鎖必須是同一個客戶端,客戶端自己不能把別人加的鎖給解了。
程式碼實現
元件依賴
首先我們要通過Maven引入Jedis開源元件,在pom.xml檔案加入下面的程式碼:
1 2 3 4 5 |
< dependency >
< groupId >redis.clients</ groupId >
< artifactId >jedis</ artifactId >
< version >2.9.0</ version >
</ dependency >
|
加鎖程式碼
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
public class RedisTool {
private static final String LOCK_SUCCESS = "OK" ;
private static final String SET_IF_NOT_EXIST = "NX" ;
private static final String SET_WITH_EXPIRE_TIME = "PX" ;
/**
* 嘗試獲取分散式鎖
* @param jedis Redis客戶端
* @param lockKey 鎖
* @param requestId 請求標識
* @param expireTime 超期時間
* @return 是否獲取成功
*/
public static boolean tryGetDistributedLock(Jedis jedis, String lockKey, String requestId, int expireTime) {
String result = jedis.set(lockKey, requestId, SET_IF_NOT_EXIST, SET_WITH_EXPIRE_TIME, expireTime);
if (LOCK_SUCCESS.equals(result)) {
return true ;
}
return false ;
}
}
|
可以看到,我們加鎖就一行程式碼:jedis.set(String key, String value, String nxxx, String expx, int time),這個set()方法一共有五個形參:
- 第一個為key,我們使用key來當鎖,因為key是唯一的。
- 第二個為value,我們傳的是requestId,很多童鞋可能不明白,有key作為鎖不就夠了嗎,為什麼還要用到value?原因就是我們在上面講到可靠性時,分散式鎖要滿足第四個條件解鈴還須繫鈴人,通過給value賦值為requestId,我們就知道這把鎖是哪個請求加的了,在解鎖的時候就可以有依據。requestId可以使用UUID.randomUUID().toString()方法生成。
- nxxx的值只能取NX或者XX,如果取NX,則只有當key不存在是才進行set,若key已經存在,則不做任何操作;如果取XX,則只有當key已經存在時才進行set。
- expx的值只能取EX或者PX,代表資料過期時間的單位,EX代表秒,PX代表毫秒。
- 第五個為time,過期時間,單位是expx所代表的單位
總的來說,執行上面的set()方法就只會導致兩種結果:1. 當前沒有鎖(key不存在),那麼就進行加鎖操作,並對鎖設定個有效期,同時value表示加鎖的客戶端。2. 已有鎖存在,不做任何操作。
我們的加鎖程式碼滿足我們可靠性裡描述的三個條件。首先,set()加入了NX引數,可以保證如果已有key存在,則函式不會呼叫成功,也就是隻有一個客戶端能持有鎖,滿足互斥性。其次,由於我們對鎖設定了過期時間,即使鎖的持有者後續發生崩潰而沒有解鎖,鎖也會因為到了過期時間而自動解鎖(即key被刪除),不會發生死鎖。最後,因為我們將value賦值為requestId,代表加鎖的客戶端請求標識,那麼在客戶端在解鎖的時候就可以進行校驗是否是同一個客戶端。由於我們只考慮Redis單機部署的場景,所以容錯性我們暫不考慮。
錯誤示例
比較常見的錯誤示例就是使用jedis.setnx()和jedis.expire()組合實現加鎖,程式碼如下:
1 2 3 4 5 6 7 8 9 |
public static void wrongGetLock1(Jedis jedis, String lockKey, String requestId, int expireTime) {
Long result = jedis.setnx(lockKey, requestId);
if (result == 1 ) {
// 若在這裡程式突然崩潰,則無法設定過期時間,將發生死鎖
jedis.expire(lockKey, expireTime);
}
}
|
setnx()方法作用就是SET IF NOT EXIST,expire()方法就是給鎖加一個過期時間。乍一看好像和前面的set()方法結果一樣,然而由於這是兩條Redis命令,不具有原子性,如果程式在執行完setnx()之後突然崩潰,導致鎖沒有設定過期時間。那麼將會發生死鎖。網上之所以有人這樣實現,是因為低版本的jedis並不支援多引數的set()方法。
解鎖程式碼
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
public class RedisTool {
private static final Long RELEASE_SUCCESS = 1L;
/**
* 釋放分散式鎖
* @param jedis Redis客戶端
* @param lockKey 鎖
* @param requestId 請求標識
* @return 是否釋放成功
*/
public static boolean releaseDistributedLock(Jedis jedis, String lockKey, String requestId) {
String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end" ;
Object result = jedis.eval(script, Collections.singletonList(lockKey), Collections.singletonList(requestId));
if (RELEASE_SUCCESS.equals(result)) {
return true ;
}
return false ;
}
}
|
可以看到,我們解鎖只需要兩行程式碼就搞定了!第一行程式碼,我們寫了一個簡單的Lua指令碼程式碼。第二行程式碼,我們將Lua程式碼傳到jedis.eval()方法裡,並使引數KEYS[1]賦值為lockKey,ARGV[1]賦值為requestId。eval()方法是將Lua程式碼交給Redis服務端執行。
Collections.singletonList() 返回的是不可變的集合,但是這個長度的集合只有1,可以減少記憶體空間。
那麼這段Lua程式碼的功能是什麼呢?其實很簡單,首先獲取鎖對應的value值,檢查是否與requestId相等,如果相等則刪除鎖(解鎖)。那麼為什麼要使用Lua語言來實現呢?因為要確保上述操作是原子性的。簡單來說,就是在eval命令執行Lua程式碼的時候,Lua程式碼將被當成一個命令去執行,並且直到eval命令執行完成,Redis才會執行其他命令。
錯誤示例1
最常見的解鎖程式碼就是直接使用jedis.del()方法刪除鎖,這種不先判斷鎖的擁有者而直接解鎖的方式,會導致任何客戶端都可以隨時進行解鎖,即使這把鎖不是它的。
1 2 3 |
public static void wrongReleaseLock1(Jedis jedis, String lockKey) {
jedis.del(lockKey);
}
|
錯誤示例2
這種解鎖程式碼乍一看也是沒問題,甚至我之前也差點這樣實現,與正確姿勢差不多,唯一區別的是分成兩條命令去執行,程式碼如下:
1 2 3 4 5 6 7 8 9 |
public static void wrongReleaseLock2(Jedis jedis, String lockKey, String requestId) {
// 判斷加鎖與解鎖是不是同一個客戶端
if (requestId.equals(jedis.get(lockKey))) {
// 若在此時,這把鎖突然不是這個客戶端的,則會誤解鎖
jedis.del(lockKey);
}
}
|
如程式碼註釋,問題在於如果呼叫jedis.del()方法的時候,這把鎖已經不屬於當前客戶端的時候會解除他人加的鎖。那麼是否真的有這種場景?答案是肯定的,比如客戶端A加鎖,一段時間之後客戶端A解鎖,在執行jedis.del()之前,鎖突然過期了,此時客戶端B嘗試加鎖成功,然後客戶端A再執行del()方法,則將客戶端B的鎖給解除了。
注:
如果專案中Redis是多機部署的,那麼可以嘗試使用Redisson實現分散式鎖,這是Redis官方提供的Java元件。