代码之家  ›  专栏  ›  技术社区  ›  Angela Tim

aws FIFO队列返回空队列,即使它有可用的消息

  •  2
  • Angela Tim  · 技术社区  · 8 年前

    我有一个FIFO队列,有超过200万条信息可用。 我想用lambda函数来处理它们,但在我轮询消息的10次中,有9次我得到了队列为空的回复。这绝对不是真的。我试着改为长投票,但没用。 这是我用来轮询消息的代码。

    import { create as listenToSqsQueue } from "sqs-consumer";
    
    listenToSqsQueue({
        queueUrl: Config.aws.sqsurl,
    
        handleMessage: async function (message, done){
            // do some work with `message`s
            Promise.resolve(invokePoller(functionName, message, callback));
            done();
          }
        ,         
        batchSize: 10
    }).on("empty", function() {
        callback(undefined, "Queue is empty");
    }).on("error", function(error: Error, message: any) {
        console.error(error, message);
        callback(error)
    }).start();
    
    1 回复  |  直到 8 年前
        1
  •  7
  •   Denis Weerasiri    8 年前

    我建议您尝试以下小测试,以了解FIFO队列的这种行为。

    1. 为测试目的创建FIFO队列
    2. 向队列发送两条消息
    3. 调用队列的接收消息API。您应该会收到您输入队列的第一条消息
    4. 多次调用接收消息API,对于后续的尝试,您会得到空响应。30秒后(可视性超时),如果调用接收消息API,您将收到相同的消息。然而,您永远不会从第二个队列收到消息。
    5. 删除您在步骤3中收到的消息
    6. 调用接收消息API,您应该会收到发送到队列的第二条消息

    队列使用者收到接收消息API的空响应的原因是队列使用者在处理接收到的消息后没有删除该消息。如果FIFO队列在未删除已传递消息的情况下传递了其他消息,则可能会违反 "First-In-First-Out Delivery" 。因为第二条消息可以在第一条消息处理之前处理。如果考虑有多个队列用户的情况,这种行为会变得更加明显。

    在总结中,我建议您考虑删除消息作为对FIFO队列的通知,以指示队列用户已经成功地处理了消息,并且允许FIFO队列在队列中传递下一条消息。要修复客户端代码,您可以在成功处理邮件后对其进行修改以删除邮件。

        2
  •  0
  •   clapas    6 年前

    作为@Denis Weerasiri提出的解决方案的替代方案,您可以为每条消息设置不同的消息组ID,这样您就可以绕过适用于同一组中消息的FIFO限制。

    看见 Using the Amazon SQS message group ID 来自AWS文件。

    推荐文章