代码之家 › 专栏 › 技术社区 › Rajnil Guha

在Spark SQL中,连接非常大的数据帧(1000000行)和相对较小的数据帧(6090行)的最有效方法是什么?

apache-spark-sql join apache-spark

Rajnil Guha · 技术社区 · 7 年前

在PIG拉丁语中,我们有一种特殊的连接,称为片段复制连接,以连接一个非常大的关系和一个较小的关系。在sparksql中,是否有任何方法可以在非常大的数据帧和较小的数据帧之间执行类似于piglain中的连接?

1 回复 | 直到 7 年前

MaxU - stand with Ukraine 7 年前

如果数据帧的大小低于 spark.sql.autoBroadcastJoinThreshold broadcast 功能:

import org.apache.spark.sql.functions._
df1.join(broadcast(df2))

Broadcast Hash Join

推荐文章

maximodesousadias · 如何根据条件删除日期后的记录

1 年前

Joe Bloggr · 如何将Dataframe类型的函数参数传递给SparkSQL查询

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前

user23358051 · 火花顺序优化规则

1 年前

Tristpost · 如何从我自己的Java Stream将CSV数据最好地加载到Apache Spark数据帧中?

1 年前

David Cunningham · Pyspark结构化流媒体-来自以前记录的数据

1 年前

Surender Raja · 对case语句的pyspark查询引发错误

1 年前

ConfusedDeveloper · 取消查看SPARK SQL中的列组

1 年前

nfsp412 · 当我使用spark-sql时,将出现此错误

1 年前