代码之家 › 专栏 › 技术社区 › mornindew

从firestore导入大查询

database-backups google-cloud-firestore google-bigquery

mornindew · 技术社区 · 7 年前

我正在考虑bigquery的解决方案,我不确定它在导入方面的特性(也找不到它的文档)。

我目前正在使用firestore并执行每日备份。我想将这些备份导入bigquery。这似乎得到了很好的支持。

我的问题是,是否每个导入都将获得一组完整的数据(基本上复制当天没有更改的任何内容),或者我可以将其配置为只导入更新的字段?我是否必须编写完整的etl来完成此任务,或者它已经得到支持。

谢谢您。

1 回复 | 直到 7 年前

Adla 7 年前

bigquery中的每个导入都有 all fields by default . 不能将其配置为只导入更新的字段。但是,您可以使用 CLI or API 使用 --projection_fields flag 在cli中或通过设置 projectionFields property 在API中。请注意,此功能在bigquery web ui中不可用。

还要注意,表中不会有重复的数据,因为您可以创建一个新表来存储数据,或者在将cloud firestore导出加载到bigquery时覆盖现有表。无法根据当前的 limitations .

纵观云FireStore和BigQueryDocs,现在似乎没有任何ETL工具可以满足您的需求。我养了一只 BigQuery feature request 谷歌问题追踪。请将以下信息添加到票证中,以便通知正确的团队:

推荐文章

PLO · SQL Server差异备份

8 年前

Sreejesh Babu · 还原备份文件失败(在设备xx上)。bak格式不正确,无法读取

8 年前

S.N Emond · 从SQL Server备份文件中删除记录

8 年前

Paul Rey · 在Docker swarm中使用酒吧服务员

8 年前

Sagar Bajpai · ORA-02065:ALTER系统的非法选项

8 年前

NullHypothesis · 捕获实体状态事务

8 年前

Hansy Kumaralal · 使用PHP事件自动备份数据库

10 年前

samiee_11 · SSIS中的备份数据库任务

10 年前

Alex · SQL Server BACKUP“stop_on_error”选项

11 年前

Sergey · Heroku自动恢复

11 年前