[整理] 一個簡單版本的秒殺系統設計
簡單版本的,只用於併發比較小的場景。
常用的三種設計策略:1.寫入記憶體而不是寫入硬碟;2.非同步處理而不是同步處理;3.分散式處理;這裡只用了1。
另外不涉及前端,也不涉及機器秒殺和安全策略。
秒殺系統的難點
- 高併發、負載壓力大
- 競爭資源有限
- 對其它業務有影響
- 提防黃牛黨
秒殺系統的場景
- 商品搶購
- 群紅包
- 優惠券領取
- 搶火車票
- 線上預約
設計原則
頁面 -> 站點 -> 服務 -> 資料庫
-
儘量將壓力攔截在上游
系統的瓶頸往往在資料庫,資料庫併發能力有限。 -
充分利用快取
讀多寫少意味著必須充分利用快取 -
熱點隔離
-
業務隔離(預售報名、分時段)
將秒殺業務獨立出來,儘量不與其他業務關聯,以減少對其他業務的依賴性。譬如秒殺業務只保留使用者id,商品id,數量等重要屬性,通過中介軟體傳送給業務系統,完成後續的處理。 -
系統隔離
將秒殺業務單獨部署,以減少對其他業務伺服器的壓力。 -
資料隔離
由於秒殺對DB的壓力很大,將DB單獨部署,不與其他業務DB放一起,避免對DB的壓力。
-
使用DB完成秒殺系統
1. 初始化專案
以Springboot,mysql,jpa為技術方案。
新建Springboot專案,pom如下
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.tianyalei</groupId> <artifactId>common</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>common</name> <description>Demo project for Spring Boot</description> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.2.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <optional>true</optional><!-- optional=true,依賴不會傳遞,該專案依賴devtools;之後依賴myboot專案的專案如果想要使用devtools,需要重新引入 --> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.0.18</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project>
avaBean
import javax.persistence.*; @Entity public class GoodInfo { @Id @GeneratedValue(strategy = GenerationType.AUTO) private Integer id; //數量 private int amount; //商品編碼 @Column(unique = true) private String code; public Integer getId() { return id; } public void setId(Integer id) { this.id = id; } public int getAmount() { return amount; } public void setAmount(int amount) { this.amount = amount; } public String getCode() { return code; } public void setCode(String code) { this.code = code; } }
dao層,注意一下sql語句,where條件中的amount - count >= 0是關鍵,該語句能嚴格保證不超賣。
import org.springframework.data.jpa.repository.Modifying;
import org.springframework.data.jpa.repository.Query;
import org.springframework.data.repository.CrudRepository;
public interface GoodInfoRepository extends CrudRepository<GoodInfo, Integer> {
@Query("update GoodInfo set amount = amount - ?2 where code = ?1 and amount - ?2 >= 0")
@Modifying
int updateAmount(String code, int count);
}
service介面
public interface GoodInfoService {
void add(GoodInfo goodInfo);
void delete(GoodInfo goodInfo);
int update(String code, int count);
}
Service實現類
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
@Service("db")
public class GoodInfoDbService implements GoodInfoService {
@Autowired
private GoodInfoRepository goodInfoRepository;
@Transactional
public int update(String code, int count) {
return goodInfoRepository.updateAmount(code, count);
}
public void add(GoodInfo goodInfo) {
goodInfoRepository.save(goodInfo);
}
public void delete(GoodInfo goodInfo) {
goodInfoRepository.deleteAll();
}
}
yml配置檔案
pring:
jpa:
database: mysql
show-sql: true
hibernate:
ddl-auto: update
datasource:
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://localhost:3306/test
username: root
password:
redis:
host: localhost
port: 6379
password:
pool:
max-active: 8
max-idle: 8
min-idle: 0
max-wait: 10000
profiles:
active: dev
server:
port: 8080
以上即是基本配置。
2. 模擬併發訪問搶購
新建junit測試類
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
import javax.annotation.Resource;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CountDownLatch;
@RunWith(SpringRunner.class)
@SpringBootTest
public class MyTest {
@Resource(name = "db")
private GoodInfoService service;
private String goodCode = "iphone7";
/**
* 機器總數量
*/
private int goodAmount = 100;
/**
* 併發量
*/
private int threadNum = 200;
//銷售量
private int goodSale = 0;
//買成功的數量
private int accountNum = 0;
//買成功的人的ID集合
private List<Integer> successUsers = new ArrayList<>();
private GoodInfo goodInfo;
/*當建立 CountDownLatch 物件時,物件使用建構函式的引數來初始化內部計數器。每次呼叫 countDown() 方法,
CountDownLatch 物件內部計數器減一。當內部計數器達到0時, CountDownLatch 物件喚醒全部使用 await() 方法睡眠的執行緒們。*/
private CountDownLatch countDownLatch = new CountDownLatch(threadNum);
@Test
public void contextLoads() {
for (int i = 0; i < threadNum; i++) {
new Thread(new UserRequest(goodCode, 7, i)).start();
countDownLatch.countDown();
}
//讓主執行緒等待200個執行緒執行完,休息2秒,不休息的話200條執行緒還沒執行完,就列印了
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("-----------購買成功的使用者數量----------為" + accountNum);
System.out.println("-----------銷售量--------------------為" + goodSale);
System.out.println("-----------剩餘數量------------------為" + (goodAmount - goodSale));
System.out.println(successUsers);
}
private class UserRequest implements Runnable {
private String code;
private int buyCount;
private int userId;
public UserRequest(String code, int buyCount, int userId) {
this.code = code;
this.buyCount = buyCount;
this.userId = userId;
}
@Override
public void run() {
try {
//讓執行緒等待,等200個執行緒建立完一起執行
countDownLatch.await();
} catch (InterruptedException e) {
e.printStackTrace();
}
//如果更新資料庫成功,也就代表購買成功了
if (service.update(code, buyCount) > 0) {
//對service加鎖,因為很多執行緒在訪問同一個service物件,不加鎖將導致購買成功的人數少於預期,且數量不對,可自行測試
synchronized (service) {
//銷售量
goodSale += buyCount;
accountNum++;
//收錄購買成功的人
successUsers.add(userId);
}
}
}
}
@Before
public void add() {
goodInfo = new GoodInfo();
goodInfo.setCode(goodCode);
goodInfo.setAmount(goodAmount);
service.add(goodInfo);
}
@After
public void delete() {
service.delete(goodInfo);
}
}
注意,由於是模擬併發,需要保證200個執行緒同時啟動去訪問資料庫,所以使用了CountDownLatch類,在呼叫UserRequest執行緒的start方法後,會先進入await狀態,等待200個執行緒建立完畢後,一起執行。
注意,由於是多執行緒操作service,必然導致資料不同步,所以需要對service加synchronize鎖,來保證service的update方法能夠正確執行。如果不加,可以自行測試,會導致少賣。
執行該測試類,看列印的結果。
可以多次執行,並修改每個人的購買數量、總商品數量、執行緒數,看看結果是否正確。
如修改為每人購買8個
mysql支援的併發訪問量有限,倘若併發量較小,可以採用上面的update的sql就能控制住,否則要使用nosql。
使用Redis完成秒殺系統
1. 修改程式碼
新建一個redis的service實現類
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;
@Service("redis")
public class GoodInfoRedisService implements GoodInfoService {
@Autowired
private StringRedisTemplate redisTemplate;
@Override
public void add(GoodInfo goodInfo) {
redisTemplate.opsForValue().set(goodInfo.getCode(), goodInfo.getAmount() + "");
}
@Override
public void delete(GoodInfo goodInfo) {
redisTemplate.delete(goodInfo.getCode());
}
@Override
public int update(String code, int count) {
if (redisTemplate.opsForValue().increment(code, -count) < 0) {
return -1;
}
return 1;
}
}
我們使用RedisTemplate的increment來保證操作的原子性。
注意一下update方法,如果剩餘數量小於0,則返回失敗。
由於使用了RedisTemplate,需要先配置一下。
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;
import org.springframework.data.redis.connection.jedis.JedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.StringRedisTemplate;
@SpringBootApplication
public class CommonApplication {
@Bean
public RedisTemplate getRedisTemplate(JedisConnectionFactory jedisConnectionFactory) {
RedisTemplate redisTemplate = new StringRedisTemplate();
redisTemplate.setConnectionFactory(jedisConnectionFactory);
return redisTemplate;
}
public static void main(String[] args) {
SpringApplication.run(CommonApplication.class, args);
}
}
2. 測試
將MyTest中的Service介面填充為redis
@Resource(name = "redis")
private GoodInfoService service;
其他的不用變,直接執行即可。
可以看到redis同樣完成了搶購資格的分配。