代码之家 › 专栏 › 技术社区 › Georg Heiler

Spark Kryo注册类缺失

kryo apache-spark-sql apache-spark

1

Georg Heiler · 技术社区 · 7 年前

当通过强制KRYO注册时 spark.kryo.registrationRequired", "true" 在Spark 2.2中,我的错误是

Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]

即使使用:

.registerKryoClasses(
          Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
                classOf[org.apache.spark.sql.catalyst.InternalRow])
        )

显然 InternalRow[] 无法在scala中编译。我这里缺什么?

1 回复 | 直到 7 年前

1

Georg Heiler 7 年前

How to register InternalRow with Kryo in Spark 引导我找到正确的答案。

classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]

是必需的。然而,当您继续前进时,还需要添加更多的Spark类。

推荐文章

user8690484 · Hazelcast with global serializer(Kryo)—没有适合类型的反序列化程序

8 年前

User2130 · 如何在Apache Spark中将类注册到Kryo Serializer?

9 年前

rhamilton · akka kryo序列化ClassNotFoundException:scala.Enumeration$Val

10 年前