代码之家 › 专栏 › 技术社区 › ForeverLearner

确定有数据可供使用的最旧卡夫卡偏移量

kafka-consumer-api apache-kafka

0

ForeverLearner · 技术社区 · 8 年前

我今天遇到了这个数据问题,为了解决这个问题,我必须重新计算过去3个月的所有数据。但是,在卡夫卡中,当我运行此命令时:

./kafka-console-consumer.sh --bootstrap-server 10.8.95.21:9092 --topic backoffice --from-beginning

它遇到一个错误: The requested offset is not within the range of offsets maintained by the server

--from-beginning 正在尝试从其数据已被卡夫卡清除的偏移量中获取数据。

1 回复 | 直到 8 年前

1

james.bondu 7 年前

你试过了吗 kt ( fgeller/kt ).这是一个非常棒的工具,可以替代卡夫卡控制台工具。这是用围棋写的,速度惊人。另一个优点是,您可以在默认情况下获得每条消息的偏移量。

因此,您可以简单地编写如下内容: kt consume -brokers <broker-name> -topic <topic-name> oldest

{ "partition": 0, "offset": <oldest-offset>, "key": "<your-key>", "value": "<value of the message>" }

编辑:如果你想要一些用户界面, Kafdrop 这正是你要找的。设置它非常简单,您可以很容易地获得所有与偏移量相关的信息。您甚至可以观看与偏移量相对应的消息,这非常令人惊讶。

2

0

fstang 5 年前

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list <broker-name> --topic <topic-name> --time -2