代码之家 › 专栏 › 技术社区 › Andrew Cassidy

sco all saveas txt文件方法输出带有零件前缀的txt文件

spotify-scio apache-beam-io apache-beam google-cloud-dataflow

Andrew Cassidy · 技术社区 · 6 年前

private[scio] def pathWithShards(path: String) = path.replaceAll("\\/+$", "") + "/part"

强制文件名以“part”开头。使用saveascustomoutput输出自定义分片文件的唯一方法是什么?

2 回复 | 直到 6 年前

Andrew Cassidy 6 年前

我必须通过saveascustoutput用光束编码

import org.apache.beam.sdk.util.Transport
val jsonFactory: JsonFactory = Transport.getJsonFactory
val outputPath = "gs://foo/bar_" // file prefix will be bar_
@BigQueryType.toTable()
case class Clazz(foo: String, bar: String)
val collection: SCollection[Clazz] = ....
collection.map(Clazz.toTableRow).
          map(jsonFactory.toString).
          saveAsCustomOutput(name = "CustomWrite", io.TextIO.write()
            .to(outputPath)
            .withSuffix("")
            .withWritableByteChannelFactory(FileBasedSink.CompressionType.GZIP))

Neville Li 6 年前

SCollection#saveAs* SCollection#saveAsCustomOutput

推荐文章

Prof. Falken · 在CSV中读取时,Tensorflow错误“UnimplementedError:不支持将字符串转换为浮点”

7 年前

Philipp · 使用python的apache beam中PCollection内几个字段的最大值和最小值

7 年前

Paolo Ciarrocchi · 使用GCP模板将云存储文本转换为BigQuery

7 年前

Jaison · 是否可以使用Apache beam处理非结构化数据(多行web日志)?

7 年前

smanurung · 使用ValueProvider读取多个Pubsub订阅

7 年前

Josh Sacks · 控制数据流/Apache Beam输出分片

7 年前

Henry Chen · 使用数据流从计算引擎读取数据

7 年前

bw4sz · 除了google云数据流之外,apache beam python还支持哪些跑步者?

7 年前

Jermell Beane · 使用标签选项时,模板无法在GoogleCloudDataflow上解析

7 年前

ShubhamR · 如何将Pcollection<String>变量转换为字符串

7 年前