1. 程式人生 > 實用技巧 >【二分】【匈牙利演算法】導彈

【二分】【匈牙利演算法】導彈

目錄

分散式鎖的應用場景

我們在開發應用的時候,如果需要對某一個共享變數進行多執行緒同步訪問的時候,可以使用我們學到的鎖進行處理,並且可以完美的執行,毫無Bug!
注意這是單機應用,後來業務發展,需要做叢集,一個應用需要部署到幾臺機器上然後做負載均衡,大致如下圖:

上圖可以看到,變數A存在三個伺服器記憶體中(這個變數A主要體現是在一個類中的一個成員變數,是一個有狀態的物件),如果不加任何控制的話,變數A同時都會在分配一塊記憶體,三個請求發過來同時對這個變數操作,顯然結果是不對的!即使不是同時發過來,三個請求分別操作三個不同記憶體區域的資料,變數A之間不存在共享,也不具有可見性,處理的結果也是不對的!

如果我們業務中確實存在這個場景的話,我們就需要一種方法解決這個問題!

為了保證一個方法或屬性在高併發情況下的同一時間只能被同一個執行緒執行,在傳統單體應用單機部署的情況下,可以使用併發處理相關的功能進行互斥控制。但是,隨著業務發展的需要,原單體單機部署的系統被演化成分散式集群系統後,由於分散式系統多執行緒、多程序並且分佈在不同機器上,這將使原單機部署情況下的併發控制鎖策略失效,單純的應用並不能提供分散式鎖的能力。為了解決這個問題就需要一種跨機器的互斥機制來控制共享資源的訪問,這就是分散式鎖要解決的問題!

使用分散式鎖應該具的條件

在分析分散式鎖的三種實現方式之前,先了解一下分散式鎖應該具備哪些條件:

  1. 在分散式系統環境下,一個方法在同一時間只能被一個機器的一個執行緒執行;
  2. 高可用的獲取鎖與釋放鎖;
  3. 高效能的獲取鎖與釋放鎖;
  4. 具備可重入特性;
  5. 具備鎖失效機制,防止死鎖;
  6. 具備非阻塞鎖特性,即沒有獲取到鎖將直接返回獲取鎖失敗。

分散式鎖的三種實現方式

目前幾乎很多大型網站及應用都是分散式部署的,分散式場景中的資料一致性問題一直是一個比較重要的話題。分散式的CAP理論告訴我們“任何一個分散式系統都無法同時滿足一致性(Consistency)、可用性(Availability)和分割槽容錯性(Partition tolerance),最多隻能同時滿足兩項。”所以,很多系統在設計之初就要對這三者做出取捨。在網際網路領域的絕大多數的場景中,都需要犧牲強一致性來換取系統的高可用性,系統往往只需要保證“最終一致性”,只要這個最終時間是在使用者可以接受的範圍內即可。
在很多場景中,我們為了保證資料的最終一致性,需要很多的技術方案來支援,比如分散式事務、分散式鎖等。有的時候,我們需要保證一個方法在同一時間內只能被同一個執行緒執行。

1. 基於資料庫實現分散式鎖;
2. 基於快取(Redis等)實現分散式鎖;
3. 基於Zookeeper實現分散式鎖;

基於資料庫的實現方式

基於資料庫的實現方式的核心思想是:在資料庫中建立一個表,表中包含方法名等欄位,並在方法名欄位上建立唯一索引,想要執行某個方法,就使用這個方法名向表中插入資料,成功插入則獲取鎖,執行完成後刪除對應的行資料釋放鎖。

  1. 表建立
DROP TABLE IF EXISTS `method_lock`;
CREATE TABLE `method_lock` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主鍵',
  `method_name` varchar(64) NOT NULL COMMENT '鎖定的方法名',
  `desc` varchar(255) NOT NULL COMMENT '備註資訊',
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='鎖定中的方法';

  1. 想要執行某個方法,就使用這個方法名向表中插入資料:INSERT INTO method_lock (method_name, desc) VALUES ('methodName', '測試的methodName');
    因為我們對method_name做了唯一性約束,這裡如果有多個請求同時提交到資料庫的話,資料庫會保證只有一個操作可以成功,那麼我們就可以認為操作成功的那個執行緒獲得了該方法的鎖,可以執行方法體內容。

  2. 成功插入則獲取鎖,執行完成後刪除對應的行資料釋放鎖:delete from method_lock where method_name ='methodName';

注意:這只是使用基於資料庫的一種方法,使用資料庫實現分散式鎖還有很多其他的玩法!

使用基於資料庫的這種實現方式很簡單,但是對於分散式鎖應該具備的條件來說,它有一些問題需要解決及優化:

  1. 因為是基於資料庫實現的,資料庫的可用性和效能將直接影響分散式鎖的可用性及效能,所以,資料庫需要雙機部署、資料同步、主備切換;

  2. 不具備可重入的特性,因為同一個執行緒在釋放鎖之前,行資料一直存在,無法再次成功插入資料,所以,需要在表中新增一列,用於記錄當前獲取到鎖的機器和執行緒資訊,在再次獲取鎖的時候,先查詢表中機器和執行緒資訊是否和當前機器和執行緒相同,若相同則直接獲取鎖;

  3. 沒有鎖失效機制,因為有可能出現成功插入資料後,伺服器宕機了,對應的資料沒有被刪除,當服務恢復後一直獲取不到鎖,所以,需要在表中新增一列,用於記錄失效時間,並且需要有定時任務清除這些失效的資料;

  4. 不具備阻塞鎖特性,獲取不到鎖直接返回失敗,所以需要優化獲取邏輯,迴圈多次去獲取。

  5. 在實施的過程中會遇到各種不同的問題,為了解決這些問題,實現方式將會越來越複雜;依賴資料庫需要一定的資源開銷,效能問題需要考慮。

基於Redis的實現方式

使用命令介紹

  1. SETNX
    SETNX key val:當且僅當key不存在時,set一個key為val的字串,返回1;若key存在,則什麼都不做,返回0。

  2. expire
    expire key timeout:為key設定一個超時時間,單位為second,超過這個時間鎖會自動釋放,避免死鎖。

  3. delete
    delete key:刪除key

實現思想

(1)獲取鎖的時候,使用setnx加鎖,並使用expire命令為鎖新增一個超時時間,超過該時間則自動釋放鎖,鎖的value值為一個隨機生成的UUID,通過此在釋放鎖的時候進行判斷。

(2)獲取鎖的時候還設定一個獲取的超時時間,若超過這個時間則放棄獲取鎖。

(3)釋放鎖的時候,通過UUID判斷是不是該鎖,若是該鎖,則執行delete進行鎖釋放。

簡單實現

#連線redis
redis_client = redis.Redis(host="localhost",
                           port=6379,
                           password=password,
                           db=10)

#獲取一個鎖
"""
lock_name:鎖的名稱
acquire_time: 客戶端等待獲取鎖的時間
time_out: 鎖的超時時間
"""

def acquire_lock(lock_name, acquire_time=10, time_out=10):
    """獲取一個分散式鎖"""
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_time
    lock = "string:lock:" + lock_name
    while time.time() < end:
        if redis_client.setnx(lock, identifier):
            # 給鎖設定超時時間, 防止程序崩潰導致其他程序無法獲取鎖
            redis_client.expire(lock, time_out)
            return identifier
        elif not redis_client.ttl(lock): # ttl: 當 key 不存在時,返回 -2 。 當 key 存在但沒有設定剩餘生存時間時,返回 -1 。 否則,以秒為單位,返回 key 的剩餘生存時間。注意:在 Redis 2.8 以前,當 key 不存在,或者 key 沒有設定剩餘生存時間時,命令都返回 -1 。
            redis_client.expire(lock, time_out)
        time.sleep(0.001)
    return False

#釋放一個鎖
def release_lock(lock_name, identifier):
    """通用的鎖釋放函式"""
    lock = "string:lock:" + lock_name
    pip = redis_client.pipeline(True)
    while True:
        try:
            pip.watch(lock) #  Watch 命令用於監視一個(或多個) key ,如果在事務執行之前這個(或這些) key 被其他命令所改動,那麼事務將被打斷
            lock_value = redis_client.get(lock)
            if not lock_value:
                return True

            if lock_value.decode() == identifier:
                pip.multi() # Multi 命令用於標記一個事務塊的開始。事務塊內的多條命令會按照先後順序被放進一個隊列當中,最後由 EXEC 命令原子性(atomic)地執行。
                pip.delete(lock)
                pip.execute()
                return True
            pip.unwatch() # unwatch用於取消 WATCH 命令對所有 key 的監視。
            break
        except redis.excetions.WacthcError:
            pass
    return False
# 測試分散式鎖

def seckill():
    identifier=acquire_lock('resource')
    print(Thread.getName(),"獲得了鎖")
    release_lock('resource',identifier)


for i in range(50):
    t = Thread(target=seckill)
    t.start()

基於ZooKeeper的實現方式

ZooKeeper是一個為分散式應用提供一致性服務的開源元件,它內部是一個分層的檔案系統目錄樹結構,規定同一個目錄下只能有一個唯一檔名。基於ZooKeeper實現分散式鎖的步驟如下:

(1)建立一個目錄mylock;
(2)執行緒A想獲取鎖就在mylock目錄下建立臨時順序節點;
(3)獲取mylock目錄下所有的子節點,然後獲取比自己小的兄弟節點,如果不存在,則說明當前執行緒順序號最小,獲得鎖;
(4)執行緒B獲取所有節點,判斷自己不是最小節點,設定監聽比自己次小的節點;
(5)執行緒A處理完,刪除自己的節點,執行緒B監聽到變更事件,判斷自己是不是最小的節點,如果是則獲得鎖。

這裡推薦一個Apache的開源庫Curator,它是一個ZooKeeper客戶端,Curator提供的InterProcessMutex是分散式鎖的實現,acquire方法用於獲取鎖,release方法用於釋放鎖。

優點:具備高可用、可重入、阻塞鎖特性,可解決失效死鎖問題。

缺點:因為需要頻繁的建立和刪除節點,效能上不如Redis方式。

總結

上面的三種實現方式,沒有在所有場合都是完美的,所以,應根據不同的應用場景選擇最適合的實現方式。

在分散式環境中,對資源進行上鎖有時候是很重要的,比如搶購某一資源,這時候使用分散式鎖就可以很好地控制資源。
當然,在具體使用中,還需要考慮很多因素,比如超時時間的選取,獲取鎖時間的選取對併發量都有很大的影響,上述實現的分散式鎖也只是一種簡單的實現,主要是一種思想