代码之家 › 专栏 › 技术社区 › DilTeam

Azure批处理的Apache Beam Runner

azure-batch apache-beam azure java

DilTeam · 技术社区 · 7 年前

Azure批处理本身没有像Spark这样的MapReduceAPI。我想知道Apache Beam提供的任何运行程序是否可以用于在Azure Batch下创建的VM池上启动MapReduce作业。

有人有ApacheBeamAPI来对付Azure批处理吗?

顺便说一下,是的,我看过这个( https://github.com/Azure-Samples/azure-batch-samples/blob/master/CSharp/TextSearch/readme.md )但这并不完全是MapReduce。它只是将文件拆分为多个文件。不处理每一行。

0 回复 | 直到 7 年前

推荐文章

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

8 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

8 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

8 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

8 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

8 年前

Nagesh Singh Chauhan · 无法将beamSql数据写入BigQuery

8 年前

Nagesh Singh Chauhan · 如何在BeamSql中将BeamRecord转换为字符串

8 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

8 年前

Zach Moshe · 从自定义DoFn生成“finish\u bundle”结果

8 年前

Tamas Eppel · 使用Apache Beam在导入和全局数据库中查找重复项

8 年前