代码之家 › 专栏 › 技术社区 › Himanshu Yadav

Spark:读取拼花文件时出现问题

parquet apache-spark-sql apache-spark

0

Himanshu Yadav · 技术社区 · 7 年前

org.apache.spark.sql.AnalysisException: Illegal Parquet type: FIXED_LEN_BYTE_ARRAY;
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.illegalType$1(ParquetSchemaConverter.scala:126)
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.convertPrimitiveField(ParquetSchemaConverter.scala:193)

https://github.com/apache/spark/pull/20826

如何解决这个问题?

1 回复 | 直到 7 年前

1

Paul Praet 6 年前

我同意这很烦人。我们只是将它序列化为一个字符串,但我同意这是一个穷人的解决方案。