代码之家 › 专栏 › 技术社区 › Jihong

建议以多个云功能的形式构建从大查询到多个模型端点的批处理数据传输[关闭]

google-cloud-pubsub google-cloud-functions google-bigquery google-cloud-platform

-2

Jihong · 技术社区 · 1 年前

我目前正试图找到一种有效的方法,从BigQuery中的表中读取数据,然后作为我的多个云函数的输入。每个云函数都包含一个不同的ML模型,这些模型都将并行运行。

我目前对工作流的想法是:

大查询(超过1亿行的表)->用于批预处理的数据流(可能是100万行的批)->使用Pub/Sub以上一批的形式创建一条消息,用作我的云函数输入->将每个“消息”模型输入传递到每个云功能中(这些功能被触发以并行运行,因为它们被设置为在Pub/Sub主题被触发时被触发)->运行云功能模型->将结果发送至GCS

任何批评或建议都将不胜感激!我最担心的是发送100次以上的大型消息(我知道10mb的限制)的潜在成本。我不希望我的云功能超时。