代码之家 › 专栏 › 技术社区 › yuppie-flu

谷歌数据流:闲置的卡夫卡阅读器

apache-beam google-cloud-dataflow apache-kafka

yuppie-flu · 技术社区 · 8 年前

我有一个Apache Beam 2.2.0实时作业,它运行在Google Dataflow平台上。该作业基本上从Kafka读取json事件,进行转换并写入BigQuery。问题是,Google Dataflow runner不断关闭现有Kafka消费者,然后创建新的Kafka消费者,并显示以下消息:

记录器:“com.google.cloud.dataflow.worker.ReaderCache”
消息:“关闭S4-00000000000000的空闲读卡器14”
阶段:“S4”
步骤:“从Kafka/KafkaIO.Read/KafkaIO.Read/Read(unboundkafkasource)/DataflowRunner.StreamingUnboundedRead.ReadWithIds”

然而,根据对卡夫卡消费者补偿滞后的监测,卡夫卡中有大量信息传达给消费者。

问题是谷歌数据流为什么会这样做?它如何确定读卡器空闲?如何防止这种行为?

1 回复 | 直到 8 年前

Raghu Angadi 8 年前

如果读卡器(如KafkaReader)空闲1分钟(即工作程序未使用),则Dataflow worker会关闭读卡器。在这种情况下,“idle”不是对Kafka服务器的w.r.t,而是留给它们读取的消息。这意味着数据流工作者在1分钟内没有尝试使用来自读卡器的任何消息。常见的原因是管道在不同的阶段忙于做其他工作。E、 g.在聚合之后,您可能需要进行大量的处理,在这种情况下,数据流正忙于这一阶段的工作。

此一分钟超时当前不可配置。关闭后您是否注意到任何问题?再次使用读卡器时,它将重新打开。

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

8 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

8 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

8 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

8 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

8 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

8 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

8 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

8 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

8 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

8 年前