代码之家 › 专栏 › 技术社区 › MiamiBeach

ApacheSpark:“使用as”vs“缓存”

common-table-expression hive apache-spark

MiamiBeach · 技术社区 · 5 年前

“With as”SQL子句,也称为CTE,被认为是提高查询可读性的便捷方法。据我所知,在经典的SQL中,CTE结果不会被缓存,每个CTE只是被相关的SQL替换,并且 不是结果集 相关SQL的定义。

鉴于我的Spark SQL中有一个CTE:

with myCTE as (select * from someTable)

CTE的结果集不会被缓存,每次我都会从中选择——Spark会再次读取该表。对的

0 回复 | 直到 5 年前

leftjoin 5 年前

您可以控制CTE是否在蜂箱中具体化,并将其缓存在Spark中。

在hive中,CTE的结果可以在主查询执行之前具体化,默认情况下,此功能已禁用,请使用以下配置参数:

set hive.optimize.cte.materialize.threshold=1;

如果对CTE子句的引用数超过此阈值,配置单元将在执行主查询块之前将其具体化。 -1 将禁用此功能。

在Spark SQL中,您可以 cache table 并在其他查询中多次使用它。

推荐文章

Victor Wong · 如何迭代列A以有条件地对列B求和?

1 年前

StripyTiger · 从配置单元中的列表检索元素

2 年前

mfcss · SQL:使用年/月/日分区查询某个时间段的数据

3 年前

MOMO · 配置单元重命名具有分区的表中的列

3 年前

Minnu · json结构类型加载到配置单元

3 年前

PPSATO · 替代在AWS Athena中使用last_value和first_value

3 年前

te time · 按组获取完整的行集

3 年前

MattRgx · 配置单元中的Regexp将一列拆分为3列

4 年前

mishalhaneef · 如何更新蜂箱颤振数据

4 年前

Bhanuchander Udhayakumar · 为什么spark sql的cpu利用率高于hive?

8 年前