将数据加载到BigQuery中,并根据时间对数据进行分区,以及按另一个变量进行拆分

看了BigQuery最近发布的名为集群的功能后,它正是我想要的。下面几行代码将解决我关于示例数据集的问题。

在发布这个答案时,不可能通过web UI创建集群表,因此我正在通过安装gcloud sdk查看命令行选项。

虽然可以在加载数据时创建分区表(因为可以同时创建表并将数据加载到分区表中),但不可能同时创建集群表(现在)。因此,这是一个两步的过程,第一步是创建一个空表;第二步是将数据加载到其中。

给定我的示例数据集,我的模式将如下所示:

 [
   {"type": "TIMESTAMP", "name": "timestamp_info_nginx_ms", "mode": "NULLABLE"},
   {"type": "STRING", "name": "site_code", "mode": "NULLABLE"},
   {"type": "STRING", "name": "action", "mode": "NULLABLE"}
  ]

注意,我的分区字段将是timestamp,集群字段将是site\u代码和操作。聚类的顺序很重要。当您在这个服务器上运行查询时,请记住集群顺序

在BigQuery中创建一个名为my dataset的数据集。

bq mk -t --schema ./myschema.json --time_partitioning_type=DAY --time_partitioning_field timestamp_info_nginx_ms --require_partition_filter=TRUE --clustering_fields='site_code,action' my-dataset.my-clustered-table

这将在名为my dataset的现有数据集中创建一个名为my clustered table的新表。

现在在终端中使用gcloudsdk的bq命令将数据加载到表中。

bq load --source_format=NEWLINE_DELIMITED_JSON --max_bad_records=1000 my-dataset.my-clustered-table gs://my-bucket/my-json-files/*

这应该管用。