如何使用数据流在地面军事系统上自动编辑超过10万个文件?

您不能直接使用 TextIO

注:在编写此答案和发布Beam 2.2.0之间,API可能会略有变化

• 使用 Match.filepatterns() 创建 PCollection<Metadata>
• 映射 PCollection<元数据> ParDo 这就是您希望使用的每个文件 FileSystems :
  • FileSystems.open() API来读取输入文件,然后使用标准Java实用程序 ReadableByteChannel .
  • FileSystems.create()

请注意 Match 是一个非常简单的 PTransform 文件系统 你可以在你的项目中使用它的另一种方法是把它的代码(必要的部分)复制粘贴到你的项目中,或者研究它的代码并重新实现类似的东西。如果您对更新Beam SDK版本犹豫不决,可以选择此选项。