代码之家 › 专栏 › 技术社区 › igx

主题中的卡夫卡搜索文本

kafka-consumer-api apache-kafka

igx · 技术社区 · 6 年前

我想搜索卡夫卡主题中的特定信息, 我找到的唯一解决办法就是使用 grep

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning |grep 'world\|hello'

2 回复 | 直到 6 年前

OneCricketeer Gabriele Mariotti 6 年前

有什么有效的方法吗?

如果你没有消息键,那么就没有。

如果你这样做了,那么你可以计算一个杂音2散列并找到分区号,然后只扫描那个分区号,仍然用 --partition

有没有一种方法可以用一个特定的偏移量来限制消费者,也就是说从一开始就读取,直到in达到特定的偏移量?

你可以给 --max-messages

如果你不想从头开始,请添加 --group 并继续使用max messages参数运行相同的命令。这将允许使用相同的使用者组,并在完成时提交偏移量

您还可以手动提交偏移量,从使用 kafka-consumer-groups 命令

-4

JR ibkr 6 年前

有什么有效的方法吗?

对。你的解决方案又快又脏。如果你想过滤数据,那么就使用Streams API,写下另一个主题的过滤信息。 https://kafka.apache.org/documentation/streams/

推荐文章

MrSham · 如何确保旧版本0.10.0在卡夫卡中只处理一次

3 年前

BnJ · 如何知道卡夫卡何时提交记录?

7 年前

addictedtohaskell · 为什么卡夫卡消费者无视我在汽车上的“最早”指令。抵消重置参数,从而不从绝对第一个事件读取我的主题?

7 年前

maverick · 消息预处理(主题-主题)-Kafka Connect API vs.Streams vs Kafka Consumer?

7 年前

Renato Garcia · 如何设置隔离。等级卡夫卡骆驼组件

7 年前

Javier · 使用kafka主题中的json值,并使用JQ将其写入csv文件并格式化

7 年前

Karol Król · 如何在一个稳定的卡夫卡消费群体中转移话题的偏移量?

7 年前

maxness · Spark streaming:错误StreamingContext:无法构造kafka使用者

7 年前

JJ15k · 卡夫卡分区分配协议

7 年前

Jary zhen · 日志使用kafka 0.11.0调试(“组{}的协调器发现失败,刷新元数据”,groupId)。x个

7 年前