代码之家 › 专栏 › 技术社区 › Raman

Kafka流-任务/分区/处理器关系

apache-kafka-streams apache-kafka

Raman · 技术社区 · 6 年前

我使用的是低级api处理器。我有一个有6个分区的主题。在实现 Processor<K,V> ,我定义了一些类变量(非静态)。我知道有6项任务。当我们启动stream应用程序时,我看到有6个对象被实例化为实现 处理器<k,v> . 我们可以将这些对象实例与任务关联吗?在重新平衡过程中,我假设分区可以在单独的线程或另一个实例上从一个任务切换到另一个任务。如果是的话,一个新的对象会被实例化为实现 处理器<k,v> 对于在不同线程或实例上重新分配的分区,以及在与该分区对应的现有对象上调用close方法?

1 回复 | 直到 6 年前

Matthias J. Sax 6 年前

如果任务从一个线程移动到另一个线程,则将关闭该任务,并创建包含新处理器对象的新任务。

因此,通过设计,所有局部成员变量都是短暂的。

如果需要在重新平衡之间保持任何状态,则需要将存储附加到 Processor .

推荐文章

Stella · Kafka流处理期间处理数据时出现异常

6 年前

Stella · kafka流中的处理器节点

6 年前

mukesh210 · 卡夫卡流:Lib Rocks数据库上的UnsatifiedLinkError

7 年前

el323 · Kafka流:通过Json日志中的键进行分组

7 年前

Suchita · 如何使用Avro反序列化器和Avro序列化器为KafkaStreams编写Junit测试用例

7 年前

Cemo · 如何获得有关GlobalKTable状态存储更新的通知?

7 年前

px5x2 · Kafka将GlobalKTable同步流传输到应用程序

7 年前

Dth · 加工机为Kafka流中的单个任务多次调用init()

7 年前

nattyddubbs · Kafka Streams多实例设计含义

7 年前

dvlcis · 如何使用卡夫卡流窗口为烛台图生成创建一条记录

7 年前