1. 程式人生 > >Docker + Nodejs + Kafka + Redis + MySQL搭建簡單秒殺環境

Docker + Nodejs + Kafka + Redis + MySQL搭建簡單秒殺環境

秒殺活動可以說在網際網路上隨處可見,從12306搶票,到聚划算搶購,我們生活的方方面面都可以看到秒殺的身影。秒殺的架構設計也是對於一個架構師架構設計能力的一次考驗。本文的目的並不在於提供一個可以直接落地的設計方案,而是意在提供一個簡單的方法,一個思路,使大家能夠對於秒殺背後的一些設計有更感性的認識, 並且可以自己親自動手實踐一下。所有的配置及原始碼都在本文最後的GitHub repository中可以找到。

首先,先簡單介紹下本文中會涉及到的一些元件,如下圖所示:


JMeter:用JMeter來模擬秒殺活動中大量併發的使用者請求

Seckill Service:基於Nodejs使用Express實現的秒殺service,圖中的步驟2,3,4都是在這個service中處理的

Redis:一個Redis的docker container,在其中儲存一個名為counter的資料來表示當前剩餘的庫存大小

Kafka: 一個Kafka的docker container,其實這裡還有一個zookeeper的docker container,Kafka用zookeeper來存放一些元資料,在程式中並沒有涉及到,所以也就不單獨列出來說了。Seckill service在更新完Redis之後,會發送一條訊息給Kafka表示一次成功的秒殺

Seckill Kafka Consumer: 基於Nodejs的Kafka consumer,會從Kafka中去獲取秒殺成功的訊息,處理並且儲存到MySQL中

MySQL:一個MySQL的docker container,最終秒殺成功的請求都會對應著資料庫表中的一條記錄

環境搭建

1 . 安裝JMeter
官網下載一個JMeter的binary包,執行bin目錄下的jmeter即可啟動,啟動後如下圖新建一個名為Seckill的Thread Group,並且設定在5s內發起2000次併發請求。


在這個Thread Group下新建一個Http Request的Sampler並命名為Seckill,按下圖配置host name,port number,http request method以及request path


2 . 安裝Redis,Kafka, Zookeeper和MySQL
為了方便搭建環境,這幾個元件會以docker container的形式啟動。在此之前需要去

Docker官網下載並安裝Docker Engine,Docker Machine和Docker Compose。如果是在Windows或者Mac上,Docker官網提供Docker For Windows/Docker For Mac安裝程式,可以很方便的把這3個元件安裝好。

3 . 編寫Docker Compose檔案
建立一個Seckill專案資料夾,新建一個docker-compose.yml檔案,內容如下:


配置檔案中一共配置了4個services對應4個docker container,分別是zookeeper,kafka,redis以及mysql。這裡有兩個地方需要設定成你實際環境的值,一個是kafka配置下面的KAFKA_ADVERTISED_HOST_NAME欄位,這個需要設定成本地機器的IP。另一個是MYSQL配置下面的MYSQL_ROOT_PASSWORD,你可以設定成你想要的任何值。

建立好這個檔案之後,就可以去命令列專案根目錄中執行docker-compose up,docker engine就會把上面配置的這4個元件全部啟動起來。

注意:在啟動完之後,需要去Kafka容器中建立一個名為CAR_NUMBER的topic,去Redis容器中建立一個名為counter的計數器(設定值為100,代表庫存初始值為100),去MySQL容器中建立一個名為seckill的資料表(包含一個自增長的id自段和一個timestamp格式的date欄位)。

程式碼片段

1 . Seckill Service


第1-8行,引入了程式需要用到的物件,nodejs的mvc框架express, redis, kafka等

第10行,利用express提供的方法暴露出一個path為/seckill的POST方法

第12行,定義了一個方法,在54行會呼叫

第13-22行,新建了一個redis client並且監聽error事件

第23行,這行程式碼非常關鍵,它的作用是讓redis cilent監視redis中的counter值,之後會啟動一個事務,如果在事務提交的時候發現有其它client修改了counter值的話,就會放棄這個事務。

第24行,通過redis client的非同步方法獲取counter的值,因為redis的get操作是原子的,所以在這裡不用擔心有併發讀寫的問題。

第25-28行,判斷返回的庫存值是否大於0,如果大於0,通過client.multi()啟動一個事務,通過decr()方法將counter值減1,最後通過exec()方法提交事務;如果小於0,則執行第47行,列印賣完了並且關閉redis client。

第29-46行,這裡我們看一下multi.exec()中的這個回撥方法。在前面我們已經使用watch對counter進行了監視。如果在事務提交過程中有其它client修改了counter值的話,回撥方法中的replies引數就會是null,可以看到第29-31行,程式會列印“可能有衝突”並且再次呼叫fn方法重試。
如果replies的值不為null,就會使用kafka的producer傳送一條message到CAR_NUMBER topic。

2 . seckill_kafka_consumer


這裡的程式碼就比較簡單了,會初始化一個kafka consumer監聽CAR_NUMBER topic,對於新獲取的訊息會去MySQL的seckill表裡插入一條記錄。

操作步驟

啟動docker container

啟動Seckill_Service

啟動seckill_kafka_consumer

啟動JMeter傳送2000個併發請求

結果 JMeter request results

Redis counter field


MySQL seckill table


可以看到,最後redis中的counter變成0,seckill資料表中會插入100條記錄,沒有發生超賣或者少賣的情況。當然在實際生產環境場景中,還有許多其它需要考慮的地方,希望此文可以起到一個拋磚引玉的作用,幫助大家更好的理解秒殺場景。