vlambda博客
学习文章列表

[奇思异想]使用RabbitMQ实现定时任务

  工作中经常会有定时任务的需求,常见的做法可以使用Timer、Quartz、Hangfire等组件,这次想尝试下新的思路,使用RabbitMQ死信队列的机制来实现定时任务,同时帮助再次了解RabbitMQ的死信队列。  

  1. 用户创建定时任务

  2. 往死信队列插入一条消息,并设置过期时间为首个任务执行时间

  3. 死信队列中的消息过期后,消息流向工作队列

  4. 任务执行消费者监听工作队列,工作队列向消费者推送消息

  5. 消费者查询数据库,读取任务信息

  6. 消费者确认任务有效(未被撤销),执行任务

  7. 消费者确认有下个任务,再往死信队列插入一条消息,并设置过期时间为任务执行时间

  8. 重复2-7的步骤,直到所有任务执行完成或任务撤销

  请自行完成MongoDB和RabbitMQ的安装,Windows、Linux、Docker皆可,以下提供Windows的安装方法:

  MongoDB:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/

  RabbitMQ:https://www.rabbitmq.com/install-windows.html

  1. (WebApi)创建任务,并根据设置创建子任务,把任务数据写入数据库

[奇思异想]使用RabbitMQ实现定时任务


  2. (WebApi)往死信队列中写入消息

[奇思异想]使用RabbitMQ实现定时任务


  其中:

  PendingTask为死信队列Exchange,死信队列的队列名(Queue Name)会包含Task、index、timeFlag的信息,帮助跟踪队列和子任务,同时也起到唯一标识的作用。

  task.id为任务Id

  index为子任务下标

  timeFlag为子任务执行时间

  3. (消费者)处理消息

[奇思异想]使用RabbitMQ实现定时任务


  4. (WebApi)撤销任务,更新任务状态即可

[奇思异想]使用RabbitMQ实现定时任务


   1. 先使用控制台把消费者启动起来。

  [奇思异想]使用RabbitMQ实现定时任务

  2. 创建任务

  启动WebApi,创建一个任务,开始时间为2019-07-16T07:55:00.000Z,结束时间为2019-07-16T07:59:00.000Z,执行时间间隔1分钟:

  [奇思异想]使用RabbitMQ实现定时任务

  任务与相应的子任务也写入了MongoDB,这里假设子任务可能是邮件发送任务:

  [奇思异想]使用RabbitMQ实现定时任务

  创建了一个临时死信队列,队列名称包含任务Id,子任务下标、以及子任务执行时间,并往其写入一条消息:

  [奇思异想]使用RabbitMQ实现定时任务

  3. 执行(子)任务

  从日志内容可以看出,(子)任务正常执行:

  [奇思异想]使用RabbitMQ实现定时任务

  子任务状态也标注为已发送

  [奇思异想]使用RabbitMQ实现定时任务

  同时也往消息队列写入了下一个子任务的消息:

  [奇思异想]使用RabbitMQ实现定时任务

  4. 撤销任务

   [奇思异想]使用RabbitMQ实现定时任务

  任务状态被置为已撤销:

  [奇思异想]使用RabbitMQ实现定时任务

  任务没再继续往下执行:

  [奇思异想]使用RabbitMQ实现定时任务

  消息队列中的临时队列被删除,消息也被消费完

  

  https://github.com/ErikXu/rabbit-scheduler

原文链接:https://www.cnblogs.com/Erik_Xu/p/10631633.html