代码之家  ›  专栏  ›  技术社区  ›  alexgbelov

Spark支持倾斜提示吗?

  •  0
  • alexgbelov  · 技术社区  · 6 年前

    我面临一些数据倾斜问题,我想看看Spark提示是否能帮我。但是,我不确定是否支持倾斜提示。这些网站: https://docs.databricks.com/spark/latest/spark-sql/skew-join.html#relation-columns-and-skew-values Spark Scala equivalent for SKEW join hints

    然而, https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hint-framework.html#spark-analyzer 声称 Spark SQL supports COALESCE and REPARTITION and BROADCAST hints. All remaining unresolved hints are silently removed from a query plan at analysis.

    哪一个是正确的?我正在运行Spark 2.2

    1 回复  |  直到 6 年前
        1
  •  5
  •   user10725378    6 年前

    TL;博士 从Spark 2.4开始,Apache Spark不支持倾斜提示。

    你混淆了两件事:

    请注意,Spark上还构建了其他专有平台,这些平台可能提供自己的扩展并修改Spark的行为,因此您不应该使用它们的文档。

    推荐文章