代码之家  ›  专栏  ›  技术社区  ›  Xitrum

googlecloudoptions没有所有<pipeline>选项。

  •  0
  • Xitrum  · 技术社区  · 6 年前

    所以我今天的光束工作最后得到了一个警告:

    /usr/local/lib/python2.7/dist packages/apache_beam/runners/dataflow/dataflow_runner.py:800:beamdeprecationwarning:自第一个稳定版本以来,选项已弃用。不支持对.options的引用

    所以,据我所知,与其这样做,不如这样做:

    self.options = {'project': self.project_name,
                   'job_name': self.job_name,
                   }
    

    我得说:

    self.options = PipelineOptions()
            google_cloud_options = self.options.view_as(GoogleCloudOptions)
            google_cloud_options.project = self.project_name
            google_cloud_options.job_name = self.job_name
    

    但有一个问题,很多选项不再可用,例如最大数量的工作程序,设置文件位置…

    我试图再次查看它的文档,但找不到那些丢失字段的替换项。

    如果我在新的googlecloudoptions中添加了一些注册标签,它会抱怨:

    attributeRor:“GoogleCloudOptions”对象没有属性 '最大值工人'

    那么有人知道这些领域的替代品是什么吗?

    谢谢您。

    0 回复  |  直到 6 年前
        1
  •  0
  •   Ani    6 年前

    似乎有些选择已经转移到 WorkerOptions 在apache beam sdk库的同一模块中。

    中的注释 工作选项 班级:

    控制工作池配置的命令行选项。

    它包括 num_workers , max_num_workers , worker_machine_type 我相信还有一些 GoogleCloudOptions 以前。

    请参阅此链接,以获取从v2.12开始的模块源代码: https://beam.apache.org/releases/pydoc/2.12.0/_modules/apache_beam/options/pipeline_options.html#WorkerOptions