vlambda博客
学习文章列表

秒杀系统优化方案思考

秒杀相信大家都不陌生,商家会发布一些价格低廉、数量很少的商品,吸引用户抢购,例如每年双十一活动就属于典型的秒杀活动。还有类似春节12306抢票、小米手机限量发售等都可以理解为“秒杀”。

秒杀特点是持续时间短,抢购人数多,参与人数大大高于商品数量。抢购开始前后大量用户请求涌入,极易给服务造成巨大压力。如果系统设计不当,还容易造成超卖、数据丢失等问题。

本文我们主要讨论在秒杀的高并发场景下,传统订单架构存在的性能瓶颈,如何利用redis、MQ等中间件对系统做优化,解决缓存加速、防止重复提交、排队下单、超卖、少卖、削峰、异步下单等核心问题。

秒杀业务流程简介

秒杀总体业务流程可以简述为

  1. 商户创建秒杀活动,设定秒杀时间段,选择本次活动的商品,设置折扣、库存等;
  2. 用户APP端在活动即将开始时会看到秒杀活动列表,点击活动可以看到商品列表,点击商品可以查看秒杀商品详情;
  3. 商品详情页用户点击立即抢购;
  4. 如果库存充足,则创建订单成功;否则秒杀失败
  5. 提交订单后超时未支付,系统会自动关闭订单,回滚库存。

秒杀页面主要分为:

(1)首页秒杀活动列表

(2)商品详情页

普通订单系统

我们来看看普通订单系统是如何处理订单请求的.

订单下单流程图

流程分析

在springcloud环境下,普通订单下单流程可以总结为:

1.用户确认订单、提交订单,发送下单请求至订单微服务;

2.订单服务会调用用户服务做一系列业务校验,如账号是否异常等;

还会调用商品服务,校验商品信息;

商品服务又会调用活动服务,校验优惠券、计算优惠等;

3.各服务从MySql获取业务数据,进行业务计算、业务校验;

4.生成订单,最后将订单数据入库。

瓶颈分析

普通订单系统分析

以上是传统微服务架构订单业务的经典流程,在用户量不多、并发不高的正常业务场景下,支撑起正常的业务需求是没问题的。可以通过部署集群、数据库分库分表和读写分离、sql调优、硬件升级等方式,进一步提高系统稳定性和抗并发能力。

但是对于秒杀业务场景,由于秒杀活动特点是商品库存少,参与人数多,在秒杀开始前后,系统的瞬间请求流量飙升,对后端服务尤其是数据库造成很大压力,如果不能进行有效削峰、限流,所有请求一次性到某一台服务器或数据库上,服务很有可能出现卡顿、不可用甚至宕机的可能,给用户造成不良体验。

普通订单系统处理秒杀业务的瓶颈

数据库负担过重

从上图可以看出,仅一个下单请求,所有服务的查询、修改等都是直接操作mysql,没有用到缓存,秒杀开始,系统瞬间承受平时数十倍甚至上百倍的流量,导致mysql cpu占用升高,压力过重,直接拖慢所有系统服务。

频繁的跨服务调用

由上图可以看出,秒杀相关接口在查询业务数据时,由于下单业务复杂,需要校验的业务项非常多,后端不得不频繁跨服务调用,订单服务会调用商品、用户服务、活动等服务,活动服务可能还会调用其它服务,

调用链过多、过长,可能某一环节响应时间过长而拖慢系统整体速度,同时微服务之间的互相调用也会占用系统CPU、内存资源,造成服务器性能下降。

容易产生大量无效下单请求

秒杀商品只有10个,却有1000个下单请求,这1000个请求到后端会全部走一遍下单逻辑,而实际上真正成功的订单只有10个,其它秒杀失败的请求没有过滤掉。

没有排队处理请求

所有请求一窝蜂涌入,容易造成请求积压,造成OOM。

串行处理

在高并发情况下,为保证不出现超卖问题,所有涉及库存操作都会加锁处理,串行执行,增加请求处理耗时。即使系统能容忍很高的并发,也很可能出现请求堆积、超时等情况。

链接暴露

秒杀url很容易通过抓包工具获取,竞争对手或黄牛党可以通过脚本或刷单工具发送下单请求,轻则活动还没开始商品便卖光,严重的服务器宕机,活动失败,GG。

秒杀常见优化方案

关于秒杀系统,可优化的点非常多,这里列出如下几点:

前端层面

前端优化(前端按钮点击频率限制、限制用户维度访问频率、限制商品维度访问频率、验证码机制等)

页面数据的静态化+多级缓存(CDN加速+Nginx+Redis)

服务层面

web服务器优化(tomcat、undertow)

nginx限流

负载均衡

服务器硬件升级

削峰处理

服务降级、熔断

jvm性能调优

业务层面

数据库分库分表、读写分离

sql调优

代码调优

.................

本次优化关键点

实际上,受限于经费、时间、团队技术水平等条件,实际优化中我们可能无法对以上几点逐条优化,一是耗时耗力,二是可能没必要,具体优化时还是要以实际业务并发量为准。在资源、时间有限的情况下,我们需要一个高效、最能够显著提升效果的优化方案。

本文主要介绍在服务层面,如何针对瞬时的高并发请求做削峰处理;业务层面,如何利用缓存减轻mysql数据库访问压力、如何排队处理、如何防止重复提交、防止超卖问题等。

利用缓存

秒杀的业务特点是读多写少,一个秒杀商品只有10个,可能有10w个人来抢,最终只有10个用户会产生写操作,其它请求都是查询库存,非常适合利用缓存优化。

缓存这块我们选用redis,redis基于内存,内存的读写速度非常快;同时redis内部是单线程操作,省去了很多上下文切换线程的时间。redis采用多路复用技术,非阻塞式IO,可以抗住高达百万级的并发量。

排队下单

利用redis进行排队抢单,记录排队数据。秒杀请求到后端后,不立即走创建订单逻辑,先通过redis校验排队、库存信息,校验通过后将秒杀请求缓存到redis。

削峰处理

通过RabbitMQ消息队列削峰:

秒杀请求不直接生成订单,先存入MQ消息队列,可以写一个消息监听器,平缓消费秒杀请求数据,减轻数据库并发量。

优化方案设计

数据缓存

通过以上分析我们知道秒杀的最大瓶颈便是mysql,所以我们要将mysql的压力转移给缓存。

在活动开始前,我们可以配置循环定时任务,将秒杀活动、秒杀商品相关信息全部缓存到redis中,可以根据活动信息,设置缓存的失效时间。

前端秒杀活动、商品详情等数据的获取,全部走redis。

秒杀系统优化方案思考

确认订单

用户发送确认订单请求时,首先校验该用户是否是否已经排队,排队信息从redis中获取,如果已经排队下单,直接返回;否则继续走确认订单的业务逻辑。

下单流程优化

1.用户提交秒杀订单,后端先获取判断是会否是本次活动黑名单用户,如果是,则直接返回

2.获取该用户的排队信息(避免用户重复提交),如果已经排队,则直接返回;

3.则从redis中获取库存信息,判断库存是否充足,如果库存不足,直接返回;

4.库存充足,则redis中记录用户下单排队信息,包括活动id、商品id、用户id等,同时将商品库存减1,这里涉及到超卖问题;

同时给前端返回一个code,表示排队中;

5.前端接收到数据后,显示排队中,并根据商品id轮询请求服务器,获取下单状态;

6.此时大部分请求都已经被过滤,只有少量请求最终会走到这一步,此时将它们发送到RabbitMQ下单队列中;

7.消息监听器监听下单消息,执行真正的下单逻辑。

(1)下单失败:这里涉及到黑名单问题,如果一个用户多次下单都失败,可能是恶意请求,也可能是该用户不符合本场秒杀条件(业务校验不通过),可以考虑将该用户加入本场秒杀活动黑名单中。

同时要回滚库存、删除用户排队缓存信息、更新redis秒杀状态信息。

(2)下单成功,更新redis秒杀状态信息,状态更新微订单已创建。发送延迟消息给rabbitMq,超时未支付自动关闭订单,回滚库存等。


定时任务缓存预热

(1)定时任务将 状态为已发布且未开始的秒杀活动、秒杀商品写入redis缓存;

(2)扫描已过期的秒杀活动,移除缓存。

扫描秒杀数据

@Scheduled("*************************")
public void pushSpikeInfoIntoRedis(){
       //查询未开始的秒杀活动信息
        List<RedisSpike> spikeList = spikeMapper.selectSpikeOfNotStart();
      
        //查询秒杀商品信息
        List<RedisSpikeSku> spikeSkuList = spikeSkuMapper.selectSkuList();
        //根据活动分组
       Map<Long, List<RedisSpikeSku>> groupSpikeSkuList=
       spikeSkuList.stream().collect(Collectors.groupingBy(RedisSpikeSku::getSpikeId))

        //秒杀活动存储到redis
        for (RedisSpike spike : spikeList) {
            redisTemplate.opsForHash()
           .put("hosjoy-spike-test:spike-info", spikeId,spike );
           
         }
        //秒杀商品存储到redis
       for(Map.Entry<Long, List<RedisSpikeSku>>entry: groupSpikeSkuList.entrySet()){
           Long spikeId= entry.getKey;
           List<RedisSpikeSku >skuList = entry.getValue();
           for(RedisSpikeSku sku: skuList){
            redisTemplate.opsForHash()
           .put("hosjoy-spike-test:spike-sku:"+spikeId, sku.getId, sku );                 
           }      
        }       
    
}

库存入队

sku库存单独放到一个队列里面。例如库存为5个,就在队列里push 5个元素。

        //库存信息
      for(RedisSpikeSku sku: spikeSkuList){
          Integer inventory = sku.getInventory();
          List<Long> skuIds = new ArrayList<>(inventory);
          for(int i=0; i<inventory; i++){
              skuIds.add(sku.getId());
          }          
          redisTemplate.opsForList().leftPushAll("hosjoy-spike-test:spike-sku-inventory:" + spikeId + spikeSkuId, skuIds);
      }

定时扫描过期数据

扫描已经结束的秒杀活动和秒杀商品缓存,清理无用数据。

    //删除已过期活动
    List<Long> expireSpikes = new ArrayList<>();
    List<RedisSpike> spikes = redisTemplate.opsForHash().values("hosjoy-spike-test:spike-info");
    LocalDateTime now = LocalDateTime.now();
    spikes.forEach(s->{
        LocalDateTime endTime = s.getEndTime();
        if(now.after(endTime)){
            expireSpikes.add(s.getId());
            redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-info",s.getId());
        }
     });

    //删除已过期sku
    expireSpikes.forEach(spikeId->{
        redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-sku:"+spikeId);
     }); 

秒杀活动列表

public SpikeListResponse spikeList(Long userId) {    
    //获取所有秒杀活动
    List<RedisSpike> spikes = redisTemplate.opsForHash().values("hosjoy-spike-test:spike-     info");
    //该用户可见的活动
    List<RedisSpike> visibleSpikes= new ArrayList<>();
    
    //业务处理,过滤当前用户不可见的活动
    ////根据具体业务自由实现
    removeSomeSpike(spikes, userId, visibleSpikes);
    
    //距离当前时间最近的活动
    RedisSpikeSku currentSpike = getCurrentSpike(visibleSpikes);
    
    //获取该活动商品列表
    List<RedisSpikeSku> spikeSkuList = redisTemplate.opsForHash()
           .values("hosjoy-spike-test:spike-sku:"+currentSpike.getId() );
    
    //业务校验、处理(例如去除当前用户不可见的商品)
    //根据具体业务自由实现
    removeSomeSku(spikeSkuList, userId);
    
    //数据封装
    SpikeListResponse spikeList =new SpikeListResponse();
    spikeList.setSpikes(visibleSpikes); //活动列表
    spikeList.setCurrentSpike(currentSpike); //当前活动
    spikeList.setCurrentSpikeSkuList(spikeSkuList); //商品列表
    return spikeList;
}

秒杀活动商品列表

public SpikeSkuListResponse spikeSkuListResponse(Long spikeId, Long userId) {    
    //获取活动信息
    RedisSpike spike = redisTemplate.opsForHash()
           .get("hosjoy-spike-test:spike-info", spikeId);
    
    //获取该活动商品列表
    List<RedisSpikeSku> spikeSkuList = redisTemplate.opsForHash()
           .values("hosjoy-spike-test:spike-sku:"+spikeId );
    
     //业务校验、处理(例如去除当前用户不可见的商品)
    //根据具体业务自由实现
    removeSomeSku(spikeSkuList, userId);
    
    //数据封装
    SpikeSkuListResponse response =new SpikeSkuListResponse();
    response.spikeInfo(spike); //活动信息
    response.setSpikeSkuList(spikeSkuList); //商品列表
    return spikeList;
}

秒杀商品详情页

直接从redis中获取商品、活动信息:

public SpikeSkuResponse spikeSkuDetail(Long spikeId, Long skuId) {
   //获取商品信息
   RedisSpikeSku sku = redisTemplate.opsForHash().get("hosjoy-spike-test:spike-           sku:"+spikeId, skuId);
    
    //获取活动信息
    RedisSpike spike = redisTemplate.opsForHash()
           .get("hosjoy-spike-test:spike-info", spikeId);
    
    //其它业务处理
    .............................
    .............................
    
    //数据封装
    SpikeSkuResponse response =new SpikeSkuResponse();
    response.set...........
    response.set...........
    return response;
}

确认订单

确认订单前先校验用户是否已经有秒杀订单或提交过秒杀请求。如果已经提交过直接响应确认订单失败,这样又可以拦截大量的提交订单请求。

防止重复提交

获取用户提交订单次数,如果次数大于1说明已经提交过秒杀请求。

spike-user-queue-count这个缓存在下文会讲到。

//判断是否已排队
//防止脚本刷单、重复提交等,
Long currentUserQueue = redisTemplate.opsForHash().get("hosjoy-spike-test:spike-user-queue-count:"+ spikeId+spikeSkuId, userId);
if(currentUserQueue > 1){
    throw new ClientException("您已提交了订单,请误重复提交");
}

提交订单

黑名单校验

用户如果多次提交订单失败,有可能是恶意刷单,也可能是该用户不符合购买条件导致提交订单失败(实际业务校验不通过),可以在提交订单失败后将该用户加入黑名单,在提交订单前校验该用户是否为黑名单用户。

Long failCount= redisTemplate.opsForHash().get("hosjoy-spike-test:spike-black-user:"+         spikeId+spikeSkuId, userId);

if(failCount > SpikeConstants.MAX_FAIL_TIMES){
    throw new ClientException("您不符合购买条件");
}

防止重复提交

利用redis的increment操作,记录用户请求提交次数,如果是第一次秒杀请求,increment后的值肯定为1,则允许排队;如果值大于1,说明重复提交。

这里不需要加锁判断,不用担心并发问题,多线程环境下,各个线程获取到的currentUserQueue肯定是准确的(redis单线程操作特性)。

//当前用户提交次数
Long currentUserQueue = redisTemplate.opsForHash().increment("hosjoy-spike-test:spike-user-queue-count:"+ spikeId+spikeSkuId, userId, 1);
if(currentUserQueue > 1){
    throw new ClientException("您已提交了订单,请勿重复提交");
}

超卖问题

超卖问题原因分析

引起超卖的原因很可能是代码逻辑进行 取库存-----判断库存是否充足-------业务操作…..扣减库存-----库存入库

类似的操作,并发情况下,多线程同时取库存,假设2个线程,库存只有1个,两个线程取出的库存都为1,

库存校验均通过,然后进行减库存、入库等操作,然后都下单成功了,造成超卖现象,1个商品卖给了2个人。

超卖常用解决方案

事务

我们可以使用使用redis的 watch + multi 指令,去监听秒杀商品库存,如果库存数发生改变,则后续无法进行修改库存操作。

缺点:(1)由于watch采用乐观锁机制,没有对其它线程修改操作作限制,因此事务有可能频繁失败;需要用while循环去重复尝试;

(2)增加服务器压力

分布式锁

利用分布式锁,保证同一时刻只有一个线程进行读库存---修改库存操作。

缺点:同一个商品多用户同时下单的时候,会基于分布式锁串行化处理,导致没法同时处理同一个商品的大量下单的请求,并发处理能力较弱。

redis 队列

将库存缓存到redis队列,队列里面放sku_id,例如库存为5个,就放5个id。

通过rightPop操作取出商品,预扣减库存,如果pop出来的元素为空,说明售罄 。

这里利用了redis单线程操作特性,队列取id即扣减库存,相当于原子操作,高并发场景下不需要开事务,也不用加锁同步,性能、数据一致性均好于以上两种方案。

乐观锁

利用CAS原理,在操作数据库更新库存的时候,更新条件带上之前查询到的库存数量,如果更新结果数为0,说明过程中其它线程修改了库存。

select inventory from sku;
update sku set inventory =#{inventory} where id=?  and inventory= ?

代码实现

我们采用redis队列+乐观锁的方式控制超卖问题,后者需在生成订单数据入库的逻辑实现,redis队列实现的代码样例如下:

//预扣减库存
String  skuId = redisTemplate..opsForList().rightPop("hosjoy-spike-test:spike-sku-inventory:" + spikeId + spikeSkuId);
//pop出来空,说明已售罄
//此处不需要加锁判断,不会产生并发问题
if(skuId == null){
    //删除排队信息
   redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-user-queue-count:"+        spikeId+spikeSkuId, userId);   
    throw new ClientException("商品已售空");
}

少卖问题

少卖问题原因分析

少卖可能出现的原因有

(1)redis预扣减库存成功,但是执行真正的下单逻辑失败了,且库存没有回滚;

(2)用户订单提交成功了,但是超时没有支付,且超时后活动已结束或者超时后没有回滚库存;

(3)用户排队成功了,但是排队下单请求消息发送到MQ失败了,或者MQ消息丢了,或者消费者弄丢了数据。

解决方案

(1)异步下单失败后,要即时回滚redis中的sku库存;

(2)缩短支付时间,或者修改秒杀流程:先支付再确认订单;超时未支付后即时回滚redis中的sku库存;

(3)解决MQ消息丢失问题(下文会提到)。

排队下单

经过上述黑名单校验、重复提交校验、库存校验后,只有少量的请求最终会加入到下单队列中了。

此时系统只是预扣减库存,用户只是抢到了一个机会,加入到排队下单队列,是否能够真正购买成功取决于最终的订单创建逻辑的执行结果。

(1)将下单状态存入到redis中,设置状态为排队中,不生成订单,直接返回给用户排队中。

(2)同时更新商品信息,预扣减库存数量;

(3)同将排队信息发送到RabbitMq, 排队信息包括userId、skuId,spikeId等;立即响应客户端:下单排队中请稍候.....

//下单状态存入到Redis中 状态为排队中
OrderQueueState orderQueueState = new OrderQueueState(......下单状态封装........);
redisTemplate.opsForHash().put("hosjoy-spike-test:spike-order-user-queue-state:"+ spikeId+spikeSkuId, userId, orderQueueState);

//更新秒杀商品库存数量
 redisTemplate.opsForHash()
           .increment("hosjoy-spike-test:spike-sku:"+spikeId, skuId, -1 );

//发送排队信息到RabbitMq
sendRabbit(queueState);

订单创建

监听RabbitMq下单队列消息,异步生成订单;

同时更新redis中的下单状态缓存,设置订单id, 前端可通过轮询方式获取到生成的订单id

@Transactional
@StreamListener("USER-SPIKE-ORDER-QUEUE")
public void userSpikeOrderQueueInput(Message message) {
        
    //调用订单创建逻辑,入库,生成订单id
    Long orderId = appOrderService.submit();
    //订单创建成功,更新下单状态为订单提交成功
    if(orderId != null){        
        OrderQueueState orderQueueState = new OrderQueueState();
        orderQueueState.setState("订单创建成功")
        orderQueueState.setOrderId(orderId);
        
        redisTemplate.opsForHash().put("hosjoy-spike-test:spike-order-user-queue-state:"+         spikeId+spikeSkuId, userId, orderQueueState);
        //发送延迟消息,超时未支付自动关闭订单
        sendMQDelayMessage();
    }
    //可能因为各种业务校验不通过而导致提交订单失败
    else{
        //回滚库存队列,否则会出现少卖问题
        redisTemplate.opsForList.leftPush("hosjoy-spike-test:spike-sku-inventory:" + spikeId + spikeSkuId, spikeSkuId);
        //商品库存数量+1
        redisTemplate.opsForHash()
           .increment("hosjoy-spike-test:spike-sku:"+spikeId, spikeSkuId, 1 );
       
        //下单状态更新为订单提交失败
        OrderQueueState orderQueueState = new OrderQueueState();
        orderQueueState.setState("订单创建失败")
        redisTemplate.opsForHash().put("hosjoy-spike-test:spike-order-user-queue-state:"+         spikeId+spikeSkuId, userId, orderQueueState); 
        //删除排队信息
        redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-user-queue-count:"+             spikeId+spikeSkuId, userId);
        //用户多次提交订单失败,有可能是恶意刷单,也可能是该用户不符合购买条件导致提交订单失败(实际业务校验          不通过)。 
        //可以将该用户加入黑名单。
        redisTemplate.opsForHash().increment("hosjoy-spike-test:spike-black-user:"+         spikeId+spikeSkuId, userId, 1)
    }    
}

超时未支付关闭订单

订单生成后我们通过sendMQDelayMessage发送了延迟消息,有些人下完单可能并不会付款,超过这个时间后消费者接收到MQ延迟消息,这时需做如下处理:

(1)回滚redis库存、数据库库存,否则会出现少卖问题;

(2)删除排队信息;

(3)删除下单状态缓存

@Transactional
@StreamListener(OrderSink.UNPAID_AUTO_CLOSE_INPUT)
public void unpaidAutoCloseInput(Long orderId) {
    log.info("[RABBITMQ][ORDER] 收到订单订单自动关闭消息, 订单id为: {}", orderId);
    this.closeOrder();
    
    //看看是否确实没有支付
      OrderQueueState orderQueueState = redisTemplate.opsForHash().get("hosjoy-spike-test:spike-order-user-queue-state:"+spikeId+spikeSkuId, userId);
    //仍然有下单排队状态缓存,说明没有完成支付
    if(orderQueueState!=null){
     //回滚库存
    redisTemplate.opsForList.leftPush("hosjoy-spike-test:spike-sku-inventory:" + spikeId +     spikeSkuId, spikeSkuId);
     //删除排队信息
    redisTemplate.opsForHas h().delete("hosjoy-spike-test:spike-user-queue-count:"+            spikeId+spikeSkuId, userId)
      //删除下单排队状态
       redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-order-user-queue-              state:"+ spikeId+spikeSkuId, userId);   
    }
    
}

支付完成回调

支付完成后,需要删除用户排队数据、删除排队状态数据。

//删除排队信息
 redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-user-queue-count:"+        spikeId+spikeSkuId); 
//删除下单排队状态缓存
//如果不删除,在收到超时未支付消息时,会认为该订单未支付
 redisTemplate.opsForHash().delete("hosjoy-spike-test:spike-order-user-queue-state:"+        spikeId+spikeSkuId, userId); 

秒杀状态查询

订单是异步生成的,所以需要后端提供秒杀状态查询接口。

前端可轮询获取秒杀状态。

@GetMapping(value = "/status")
public Integer queryStatus(){
       
    OrderQueueState orderQueueState=
        redisTemplate.opsForHash().get("hosjoy-spike-test:spike-order-user-queue-state:"+         spikeId+spikeSkuId, userId);
    
    if(orderQueueState!=null){
        orderQueueState.getState();
    }
    //查询不到下单状态缓存
    //可能原因:1.未下单 2:创建订单业务逻辑出错 3: 超时未支付 4:已支付
    throw new ClientException("ERROR");
}

补充问题

重复下单问题

MQ在整个秒杀流程中扮演了很重要的角色,因为下单数据全部暂存在MQ中,一旦消费者重复消费,就有可能出现一个用户秒杀到两个商品的重复下单情况。

所以代码有必要进行重复消息判断。

解决方案:

利用redis:发送消息时指定消息的全局唯一id;收到消息后查询redis是否有该id,有则说明是重复消息。然后立即将id存入redis中。

业务校验:生成订单时校验用户是否已经秒杀过该商品。

下单消息丢失

如果下单消息丢失了,用户秒的这个商品就可能永远卖不出去了,造成少卖问题。

以rabbit为例:

生产者丢失消息

(1)使用事务;

(2)使用confirm模式;

(3)异步监听确认模式

MQ丢失消息

开启消息持久化

消费者丢失消息

消费者消费完成后回执确认,如果一段时间后MQ没有收到消费者的回执确认,MQ就认为消息没有被成功消费,会将消息重新发送给其他消费者。

库存一致性问题

redis中记录的库存主要用于即时判断库存是否充足,作用是过滤大部分秒杀请求,只接收库存数量的请求放入请求队列。并不需要与mysql中的库存保持强一致性。

所以本方案不需要保持两者数据的一致性。

redis挂了怎么办

如果redis都扛不住了,说明并发量很高了.........

这个其实是个高可用的问题,首先要做好数据持久化工作,防止数据丢失;

其次可以采用市面上比较成熟的分布式高可用redis解决方案,如codis。

如何处理恶意下单请求

如何防止脚本刷单和脚本攻击?

1.首先保证刷单者最多也只能刷到一件商品:真正的下单逻辑校验一个用户只能购买一件商品,可以把用户id商品id作为联合主键索引存储到数据库中,重复购买会自动报错,;

2.重复提交校验(前面讲过了);

3.验证码机制;

4.IP限流:限制同一IP访问速率

数据链路层:交换机设备本身便具有限制同一IP访问速率的功能(这其实属于网管应该干的事情)

网关层限流:nginx配置limit_conn_zone限制同一ip的访问速率:

limit_conn_zone $binary_remote_address zone=addr:10m;

web服务器限流:MQ、限流算法(如RateLimiter)等,代码实现。

5.url加密防暴露:利用可变url,根据skuId生成md5加密参数,下单时校验md5码是否正确。

我们要做到:(1)秒杀开始前,谁都不知道秒杀接口url到底是什么;

(2)秒杀接口url是可变的,每次请求的url都不一样。

实现思路:

首先获取秒杀下单url可变参数,根据skuId进行md5加密。校验是否已经到秒杀时间,防止秒杀还没开始就要有人通过脚本刷单。

//用于加密和解密的密钥
private final String cipher="hosjoy-spike-md5-cipher&73@(**$d--=,./;~·2··%##4";

//返回url可变部分
public String  getPathVirableMd5(long skuId) {
    if(LocalDateTime.now().before(spikeStartTime) ){
        throw new ClientException("还没到秒杀时间")
    }
    String base=skuId+"/"+cipher;
    return DigestUtils.md5DigestAsHex(base.getBytes());
}

(2)下单请求

@RequestMapping(value = "/submit/{skuId}/{md5}")
public void  submit(@PathVariable("skuId") Long skuId, @PathVariable("md5") String md5){
    return spikeService.submitSpikeOrder(skuId, md5);  
}

public void submitSpikeOrder(long skuId,  String md5){
      if(md5==null||!md5.equals(getPathVirableMd5(skuId))){
         //md5校验错误
         throw new RuntimeException("非法请求");
      }
      //校验通过,执行下单
      this. doSubmitSpikeOrder(skuId);
    }
}

结语

一个秒杀系统,可以设计的很复杂,因为具体业务的并发量本身就特别高,不得不逐点优化;也可以设计的很简单,因为业务可能本身不复杂,用户量也没达到那种量级。具体需要优化到什么程度,还是需要以我们的实际业务为依据。

本文主要从缓存、削峰处理等维度介绍优化效果和性价比较高的一种方案, 实际上可优化的点太多了,如果你的业务流量达到千万上亿级别,仅用上述方案是远远不够的,但是如果你们现有的系统采用传统订单架构来应对秒杀业务,相信这篇文章能够给你一定启发和帮助。

参考文章:

https://www.jianshu.com/p/cad0ecd7562b?utm_campaign=hugo

https://segmentfault.com/a/1190000020970562?utm_source=sf-related

https://www.infoq.cn/article/flash-deal-architecture-optimization/

https://www.matools.com/blog/190347003

https://blog.csdn.net/l1028386804/article/details/105393751/

https://blog.csdn.net/canot/article/details/53966987

https://blog.csdn.net/Steven_L_/article/details/106791935