我有一个有几个消费者的消费者团体。每个使用者都被分配给一组分区。当使用者对选择了已使用分区的消息进行轮询时?是在用户端完成的,还是Kafka服务器决定使用哪个分区?
我的一些分区有很多消息,但有些没有或很少。但我仍然需要我的消费者平均地使用它分配的每个分区。因此,我需要我的消费者快速地遍历分区,最好从每个分配的分区中轮询X消息。
我在用 https://github.com/appsignal/rdkafka-ruby 以防万一。
卡夫卡将要使用的分区分配为循环策略,给每个分区一个公平的使用机会。这样就避免了对分区的饥饿。
here .