代码之家  ›  专栏  ›  技术社区  ›  Lost

Postgres adapter for spark/hadoop增加了什么价值?

  •  0
  • Lost  · 技术社区  · 7 年前

    我意识到Spark天生就支持SQL查询。然后我发现了这个链接

    https://www.enterprisedb.com/news/enterprisedb-announces-new-apache-spark-connecter-speed-postgres-big-data-processing

    或者我误解了它的实际作用?

    1 回复  |  直到 7 年前
        1
  •  2
  •   Ged    7 年前

    我认为你误解了。

    "... 它们允许PostgreSQL查询包含来自多个源(如Postgres和NoSQL数据库以及HDFS)的结构化或非结构化数据,就像它们在单个数据库中一样。。。
    "

    在我看来,这就像是Oracle的大数据设备方法。从Postgres中,你可以看到数据处理的世界,逻辑上就好像它是所有Postgres一样,但是在水下,HDFS数据是使用Postgres查询引擎调用的Spark查询引擎访问的,但是你不必担心这是可能的前提。我们在虚拟化领域。你可以随时将大数据和Postgres数据结合起来。

    没有Spark数据这样的东西,因为它不是一个数据库,因此除非某些Spark格式的数据与Hive不兼容。

    它的价值总是会说,你不需要学习大数据等,这是不是真的还有待观察。

    推荐文章