【面试必备】聊聊高性能延时队列应用

延时队列的应用场景:

下单后,30分钟内未付款就自动取消订单等；
支付后，24小时未评论自动好评；
在我们实际开发过程中，应用场景很多...

基于Redis Zset 实现

实现原理

Redis由于其自身的Zset数据结构，也同样可以实现延时的操作。
Zset本质就是Set结构上加了个排序的功能，除了添加数据value之外，还提供另一属性score，这一属性在添加元素时候可以指定，每次指定score后，Zset会自动重新按新的值调整顺序。

如果score代表的是想要执行时间的时间戳，在某个时间将它插入Zset集合中，它会按照时间戳大小进行排序，也就是对执行时间前后进行排序。

> ZADD delay_queue 1581309229  taskId_1
(integer) 1
> ZADD delay_queue 1581309129  taskId_2
(integer) 1
> ZADD delay_queue 1581309329  taskId_3
(integer) 1

不断地进行取第一个key值，如果当前时间戳大于等于该key值的socre就将它取出来进行消费删除，就可以达到延时执行的目的。注意不需要遍历整个Zset集合，以免造成性能浪费。

> ZRANGE delay_queue 0 -1 withscores
1) "taskId_2"
2) "1581309129"
3) "taskId_1"
4) "1581309229"
5) "taskId_3"
6) "1581309329"

使用注意

遍历逻辑，删除逻辑，注意使用 Redis Lua 封装，确保原子性操作。更要注意 Redis Lua 在 Redis Cluster 的伪集群问题。
若是JAVA 语言可以直接使用 redisson，封装了 DelayedQueue 的实现。

源码逻辑 org/redisson/RedissonDelayedQueue.java

Beanstalkd 消息队列

Beanstalkd，一个高性能、轻量级的分布式内存队列系统。支持过有9.5 million用户的Facebook Causes应用。后来开源，现在有PostRank大规模部署和使用，每天处理百万级任务。

部署使用

Linux 安装 || docker 部署

yum install beanstalkd

||

docker run -d -p 11300:11300 pig4cloud/beanstalkd

客户端使用,pom 依赖

<!--封装了 官方的 java sdk，只支持 springboot 2.X-->
<dependency>
    <groupId>com.pig4cloud.beanstalk</groupId>
    <artifactId>beanstalkd-client-spring-boot-starter</artifactId>
    <version>0.0.1</version>
</dependency>

默认配置

代码使用

@Autowired
private JobProducer producer;

/**
 * @param delay    是一个整形数，表示将job放入ready队列需要等待的秒数
 * @param ttr      time to run—是一个整形数，表示允许一个worker执行该job的秒数。这个时间将从一个worker 获取一个job开始计算。
 *                 如果该worker没能在<ttr> 秒内删除、释放或休眠该job，这个job就会超时，服务端会主动释放该job。
 *                 最小ttr为1。如果客户端设置了0，服务端会默认将其增加到1。
 * @param priority 优先级 0~2**32的整数，最高优先级是0
 */
@Test
public void testSend() {
	String taskId = "1";// 业务对象信息
    producer.putJob(0, 10, 10, taskId.getBytes());
}

@Component
public class DemoJobConsumer extends AbstractTubeConsumerListener {

    @Override
    public void work(JobConsumer consumer) {
        // 阻塞多少秒获取一次 Job
        Job job = consumer.reserveJob(1000L);

        // 消费此Job
        consumer.deleteJob(job.getId());

        // 执行延时的业务逻辑
        String biz = new String(job.getData());
    }
}

扩展

数据库，利用定时任务轮询实现，业务量大会性能瓶颈。
延时队列的其他实现，比如 rabbitmq 利用ttl特性可以实现。无法取消已放入队列里面的数据，使用时特别注意死信队列的配置等。
还可以自己根据时间轮片的算法自行实现。
总之一切，都要有补偿的逻辑，无论是业务人员手动触发还是自动补偿。