代码之家 › 专栏 › 技术社区 › Jicaar

一个卡夫卡制作人可以被多个接收器安全使用吗?

apache-flink java

Jicaar · 技术社区 · 8 年前

我有一个具有三种不同ProcessFunction的项目。如果其中任何一个发生错误,则会创建一个错误对象并将其写入侧面输出。所有三个都使用相同的输出AG作为侧输出。

我的问题是:我是否必须为每个sideoutput流创建一个新的FlinkKafkaProducer,或者我是否可以使用相同的FlinkKafkaProducer为每个sideoutput流创建一个新的接收器,因为这三个都将写入相同的错误主题?

1 回复 | 直到 8 年前

Joshua DeWald 8 年前

没有理由实际使用不同的接收器,您可以实际执行。并将其发送到单个接收器。

类似于以下内容的操作应该有效:

stream1 = source.stuff()
stream2 = source.stuff()
stream3 = source.stuff()
stream1.union(stream2, stream3).addSink(kafkaSink)

推荐文章

Ellen Spertus · 使用Scala访问HBase的推荐方法

7 年前

skrshn · JAVA尝试在Flink中创建Kafka使用者时出现lang.NoClassDefFoundError(CheckpointedRestoring)

8 年前

Daniel · 目录中的Apache Flink流文件

8 年前

Christos Hadjinikolis · Flink:执行管道java时出错。util。同时发生的TimeoutException:期货在[10000毫秒]后超时

8 年前