代码之家 › 专栏 › 技术社区 › hlagos

bigquery avro表和读取器模式

avro google-bigquery

hlagos · 技术社区 · 7 年前

我知道bigquery从数据本身获取模式,并加载具有不同模式的文件,这些模式必须兼容(通过解析)。我正在寻找一种在bigquery中指定读卡器模式(完整模式的子集)的方法。在apache配置单元中,可以指定此项,并在同一数据上装载具有不同模式的不同表,以便在需要时隐藏某些字段。在bigquery中有这样做的方法吗?有解决办法吗?我知道使用视图可以得到类似的结果,但对于复杂的数据集来说,这会变得不方便。

0 回复 | 直到 7 年前

推荐文章

user9750148 · Scala-如何从Avro模式中获取所有字段的名称?

8 年前

user9750148 · 如何从Avro模式创建有效的JSON示例?

8 年前

Suchita · 如何使用Avro反序列化器和Avro序列化器为KafkaStreams编写Junit测试用例

8 年前

CuriousMind · Hadoop自身的序列化及其与AVRO序列化的关系?

8 年前

revy · 配置单元AVRO表创建语法

8 年前

cscan ssice · 反序列化Avro序列化Kafka流时出现问题

8 年前

Atul Ojha · java上使用Avro发送和接收日期类型

8 年前

Pasq · 具有泛型类型问题的Avro序列化

8 年前

Souhaib Guitouni · 将Spark结构化流媒体与融合模式注册表集成

8 年前

M80 · 通过为包含JSON的列定义模式来创建配置单元表的视图

8 年前