代码之家 › 专栏 › 技术社区 › Embedded_Mugs

如何跟踪何时将行从Google BigQuery发布到发布/订阅?

google-cloud-pubsub database-migration google-bigquery google-cloud-platform

Embedded_Mugs · 技术社区 · 7 年前

我正在使用cron作业将数据从googlebigquery(googlesql数据仓库)写入mysql。我们使用google发布/订阅作为中介(从bigquery读取,发布到发布/订阅,然后从发布/订阅订阅并写入mysql(在cloudsql上))。我们在bigquery表的每一行上放置一个published\u标志布尔值,以指示何时成功发布了一行。问题是bigquery每天每个表的更新/插入/删除语句数量有限。此外,我们正在处理数十亿行。这个问题的替代解决方案是什么?是否有任何GCP服务或web服务可以更优雅地处理此问题?

我们目前的选择是:

购买更多bigQuery配额(不可扩展)
从bigquery直接写入mysql(不健壮且不解耦)
在另一个服务(如google data store)中创建另一个表,以跟踪已发布的行(看起来并不优雅,而且增加了复杂性)。
批量更新发布标志(也不可扩展)

1 回复 | 直到 7 年前

Carl Cono 6 年前

将cronjob和 Pub/SUb 对于这个用例来说,可能不是一个好的选择。最合适的产品应该是 Cloud Dataflow 因为它是为ETL设计的。在这种特定情况下,您可以使用 BigqueryIO 从中读取 Bigquery 和 JdbcIO 将其写入SQL数据库。

推荐文章

Saravana Kumar · 是否将值插入结构列?

1 年前

Supplementing · 使用nuxt在谷歌应用程序引擎上部署失败

2 年前

mehere · 谷歌搜索控制台-批量导出-缺少权限

2 年前

Chris A · 生成中未拾取环境变量

2 年前

zinger44 · 如何将数据集从Huggingface移动到谷歌云?

3 年前

Mazen Ezzeddine · 使用一点上下文搜索谷歌云日志(匹配关键字的日志和匹配日志前后的少量日志。)

3 年前

nav112 · 在GCP中将桶数据从区域移动到多区域

3 年前

so beautiful memory · 如何将我在本地训练的tensorflow模型正确部署到谷歌云人工智能平台?我部署了它,但没有图像返回

3 年前

Theo75 · R库将消息发布到Google Cloud Pub/Sub主题

3 年前

Itamar Cohen · 谷歌管理的SSL证书不起作用

3 年前