代码之家 › 专栏 › 技术社区 › daniely

是否有方法更新apache beam中的侧输入?

apache-beam

daniely · 技术社区 · 6 年前

我正在apache beam中开发一个数据转换管道,在这里我需要一些查找表来帮助转换每个传入的记录。

我可以把查找表作为边输入,但是警告是输入的记录可以更新我正在使用的查找表。

是否有方法更新查找表,然后将更新广播给其他每个工作人员?

更新:一种可能性是,当传入的记录更新侧边输入时,使用数据驱动触发器向当前窗口发出结束信号。侧边输入在下一个窗口开始时是否自动刷新?在我的例子中,我是从外部源检索侧输入。

1 回复 | 直到 6 年前

Piotr Gwiazda 6 年前

如果查找表与键和窗口相关,则可以尝试使用状态 https://beam.apache.org/blog/2017/02/13/stateful-processing.html

否则您可能需要外部数据存储。数据库或内存缓存。只要注意dofn是可序列化的,并且需要小心地打开/关闭连接。

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

7 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

7 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

7 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

7 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

7 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

7 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

7 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

7 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

7 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

7 年前