代码之家 › 专栏 › 技术社区 › clay

卡夫卡:当前主题的偏移量或记录计数是多少?

apache-kafka

clay · 技术社区 · 6 年前

如何获取给定主题的当前偏移量、分区偏移量或记录计数?它不需要完美,但我想知道卡夫卡主题中有多少数据。

1 回复 | 直到 6 年前

Giorgos Myrianthous 6 年前

为了获得主题分区的偏移量,可以使用 kafka.tools.GetOffsetShell

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic your_topic_name --time -1

如果要获取特定组的最新偏移量,还可以使用:

./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  --topic your_topic_name--zookeeper localhost:2181 --group your_group_id

为了计算主题中的条目数,您可以使用整个主题(当您停止使用者时,将报告已使用的消息总数)。或者,您可以使用

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell  --broker-list <broker>:  <port> --topic <topic-name> --time -1 --offsets 1 | awk -F  ":" '{sum += $3} END {print sum}'

推荐文章

elenwen · 在配置中发现未知的功能门KafkaNodePools

5 月前

ljuk · 连接器启动时的Debezium信号表

1 年前

Shubham Snehi · Golang Segmentation在消费者组迁移时获得一半分区

1 年前

RushHour · 无法定义Kafka配置的卷以便使用docker通过CLI启动生产者

1 年前

Hossein Rouhi · 优化Docker中的Kafka性能:单个ZooKeeper与多个、Broker计数的影响

1 年前

Narut Promsuparoj · Kafka连接器时间戳转换器与SMT一起使用时不工作

1 年前

user23351472 · 从卡夫集群中移除Broker的正确方法

1 年前

Varun Sharma · 从Kaffa主题消费并添加到列表中

1 年前

zloodeyka · Confluent rest prozy基本身份验证不起作用

1 年前

Kumar Saras · 我可以在Kafka Streams拓扑和普通Kafka消费者之间使用相同的组id吗?

1 年前