代码之家 › 专栏 › 技术社区 › Jon Bates

Kafka流损坏了消息处理语义

corruption apache-kafka-streams apache-kafka

Jon Bates · 技术社区 · 7 年前

我注意到Kafka记录有一个CRC字段。如果日志文件中的记录损坏(例如,消息中间的一个位被翻转),在以下情况下,我希望在streams应用程序中看到什么:

由于我们使用的是Avro,我可以想象以下情况之一:

1 回复 | 直到 7 年前

Matthias J. Sax 7 年前

对于CRC错误,当Streams应用程序尝试反序列化记录时,应该在其中抛出异常。因此 DeserializationExceptionHandler 开始了。

在Kafka中,所有的读/写操作都由分区负责人处理,而follower代理只在后台被动地复制数据,不服务于来自客户机的任何读/写操作。

推荐文章

Stella · Kafka流处理期间处理数据时出现异常

7 年前

Stella · kafka流中的处理器节点

7 年前

mukesh210 · 卡夫卡流:Lib Rocks数据库上的UnsatifiedLinkError

7 年前

el323 · Kafka流:通过Json日志中的键进行分组

7 年前

Suchita · 如何使用Avro反序列化器和Avro序列化器为KafkaStreams编写Junit测试用例

7 年前

Cemo · 如何获得有关GlobalKTable状态存储更新的通知?

7 年前

px5x2 · Kafka将GlobalKTable同步流传输到应用程序

7 年前

Dth · 加工机为Kafka流中的单个任务多次调用init()

7 年前

nattyddubbs · Kafka Streams多实例设计含义

7 年前

dvlcis · 如何使用卡夫卡流窗口为烛台图生成创建一条记录

7 年前