代码之家 › 专栏 › 技术社区 › MehrdadAP

Spark Serialization:钨和氪是如何协同工作的?

kryo serialization apache-spark

0

MehrdadAP · 技术社区 · 8 年前

我在读有关Spark optimization的书,但不清楚是如何做到的钨和 系列化 就像Kryo一起工作。

我读到的一些资料中的笔记让我想到了这个问题:

1 回复 | 直到 8 年前

1

2

user9963938 8 年前

不包括一些边境案件,比如 Encoders.kryo .

钨使用自己的二进制存储格式和相应的serde工具( Encoders ).这就是为什么在标准操作模式下它可以更快、更高效地存储。

推荐文章

user8690484 · Hazelcast with global serializer(Kryo)—没有适合类型的反序列化程序

8 年前

User2130 · 如何在Apache Spark中将类注册到Kryo Serializer?

10 年前

rhamilton · akka kryo序列化ClassNotFoundException:scala.Enumeration$Val

10 年前