代码之家 › 专栏 › 技术社区 › Bartosz Bilicki Ievgen Lukash

Apache梁的固定大小窗口

apache-beam

Bartosz Bilicki Ievgen Lukash · 技术社区 · 5 年前

如何在apachebeam中定义固定大小(固定项目数)的窗口?

我知道我们有

(FixedWindows.of(Duration.standardMinutes(10))

更多详细信息: 我正在向S3写入大量数据(53gb)。目前我的程序使用

FileIO.<KV<...>writeDynamic()
.by(kv -> kv.getKey())

我不需要任何特殊的分组。理想情况下,我希望数据分布均匀,这样写操作将同时进行并尽快完成。

0 回复 | 直到 5 年前

danielm 5 年前

保证大小完全相等的分组是相当困难的,但是您可以通过使用数据的散列(模化某个常量)作为键来获得非常接近的结果。例如:

FileIO.<KV<...>writeDynamic()
.by(kv -> kv.hashCode() % 530)

这将提供大致相等的100MB分区。

此外,如果您使用的是DataflowRunner,则根本不需要指定键;系统将自动对数据进行分组,并动态地重新平衡负载以避免掉队。为此,请使用文件IO.write()而不是文件IO.writeDynamic().

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

8 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

8 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

8 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

8 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

8 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

8 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

8 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

8 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

8 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

8 年前