代码之家  ›  专栏  ›  技术社区  ›  Mika

Kafka分区是否平均使用?

  •  2
  • Mika  · 技术社区  · 7 年前

    我有一个有几个消费者的消费者团体。每个使用者都被分配给一组分区。当使用者对选择了已使用分区的消息进行轮询时?是在用户端完成的,还是Kafka服务器决定使用哪个分区?

    我的一些分区有很多消息,但有些没有或很少。但我仍然需要我的消费者平均地使用它分配的每个分区。因此,我需要我的消费者快速地遍历分区,最好从每个分配的分区中轮询X消息。

    我在用 https://github.com/appsignal/rdkafka-ruby 以防万一。

    1 回复  |  直到 7 年前
        1
  •  2
  •   dbustosp    7 年前

    卡夫卡将要使用的分区分配为循环策略,给每个分区一个公平的使用机会。这样就避免了对分区的饥饿。

    here .