代码之家 › 专栏 › 技术社区 › Vasyl Senko

使用RabbitMQ的MassTransit:消息重复数据消除

masstransit messaging rabbitmq

Vasyl Senko · 技术社区 · 7 年前

我在用 MassTransit 具有 RabbitMQ 在传输层,面临着邮件重复数据消除的需求。

如果重复的消息已经排队(即使该消息正在由使用者处理),则应跳过向队列添加新消息。例如,可以通过消息的内容来标识重复项。

发送 DoWork1, DoWork2, DoWork3 可以并行处理,但是发送 DoWork1, DoWork2, DoWork2 -应跳过重复项,并且尽可能 DoWork1, DoWork2 已处理的相同消息可以排队,不应假定为重复消息。

解决方案1:使用“ RabbitMQ Message Deduplication Plugin “在交换层,对我来说是理想的,但不确定这是否解决了所描述的问题。

解决方案2:使用第三方数据存储实现自定义中间件。

对于所描述的问题是否有更好的解决方案?

提前谢谢你的帮助!

1 回复 | 直到 7 年前

noxdafox 7 年前

这个 RabbitMQ deduplication plugin 就是为了这个目的而设计的。

您可以在Exchange或队列中进行重复数据消除。主要的区别是,如果exchange以前看到过一条消息,那么它将对其进行重复数据消除,而如果队列已经包含了该消息的副本,那么它将对其进行重复数据消除。

发布消息时,只需设置 x-deduplication-header 具有唯一标识消息的字符串的头(例如其正文的MD5哈希)。

使用自定义中间件将允许您以自己的开发为代价获得更多的操作自由。

推荐文章

RH201 · 如何在Android和iOS中通过短信启动应用程序,以及应用程序使用的加密数据

7 年前

enigment · Chrome扩展:向特定iframe中加载的页面发送消息

7 年前

dev-masih Ash Ghal · 从bot向用户发送相同的图像以防止下载两次

7 年前

André Shevantes · 消息队列系统可以接受某些消息丢失的真实场景示例有哪些?

7 年前

moosambi2020 · 通信节点之间的Nanomsg消息加密

7 年前

user1079877 · 在微服务中广播消息,并在多个实例中运行一次

7 年前

Rob · 未调用Firebase云消息onDeletedMessages()

7 年前

Pat · 我可以在mqtt服务器上编辑消息吗?

7 年前

Clement Sam · 从sql获取当前用户和其他用户之间的最后一条消息

8 年前

user2475448 · 卡夫卡比拉比特MQ有什么优势?

8 年前