代码之家  ›  专栏  ›  技术社区  ›  Kermit

Spark为什么强调分离模式、内存、存储?

  •  0
  • Kermit  · 技术社区  · 8 年前

    纵观星火文学,我已经多次看到提到的事情,如以下引用。以及将模式与存储分离。

    解耦 低层存储模型中的内存数据模型。

    1 回复  |  直到 8 年前
        1
  •  0
  •   OneCricketeer Gabriele Mariotti    8 年前

    书中那句话后面有一个例子。。。但不管怎样,Spark与微服务没什么关系。

    书中说,Spark读取的存储器可以在许多商品硬件机器上分开。这是通过与Hadoop兼容的文件系统实现的,无论是HDFS、S3还是其他文件系统。与其他只了解UNIX文件系统层的HPC系统相比,Hadoop在不同类型的存储上提供了更一致的API。

    对于磁盘存储,Spark(通过Hadoop)可以将数据存储为包含自描述模式的格式,这些模式是根据请求读取的,而不是预定义的,并存储在外部,例如数据库中。

    推荐文章