代码之家 › 专栏 › 技术社区 › xmar

卡夫卡流:重新处理应用程序协调

stream-processing apache-kafka-streams apache-kafka architecture

xmar · 技术社区 · 7 年前

它有一个事件主题和几个输出主题,其中包括web事件、用户、客户等。

我有几个(数千个)网站,每个网站都向同一主题发送事件。输出主题的消耗被发送到分析数据库。

modulo (website, user) / numPartitions 为了有一个良好的数据分布。

问题:

当某个网站的某些元数据发生更改时,我希望能够重新处理该网站(并且仅该网站)的所有数据。

我可以启动一个单独的应用程序来重新处理偏移量0中的所有数据,忽略来自其他网站的数据,并在完成时使其停止。这很好,因为我可以根据网站的大小扩展再处理应用程序,而不会影响常规应用程序。

但是,也存在一些问题:

0 回复 | 直到 7 年前

推荐文章

Stella · Kafka流处理期间处理数据时出现异常

8 年前

Stella · kafka流中的处理器节点

8 年前

mukesh210 · 卡夫卡流:Lib Rocks数据库上的UnsatifiedLinkError

8 年前

el323 · Kafka流:通过Json日志中的键进行分组

8 年前

Suchita · 如何使用Avro反序列化器和Avro序列化器为KafkaStreams编写Junit测试用例

8 年前

Cemo · 如何获得有关GlobalKTable状态存储更新的通知?

8 年前

px5x2 · Kafka将GlobalKTable同步流传输到应用程序

8 年前

Dth · 加工机为Kafka流中的单个任务多次调用init()

8 年前

nattyddubbs · Kafka Streams多实例设计含义

8 年前

dvlcis · 如何使用卡夫卡流窗口为烛台图生成创建一条记录

8 年前