为什么spark sql的cpu利用率高于hive?

大局

Spark没有超能力。与MapReduce相比,it的优势在于它更倾向于快速的内存访问,而不是依赖分布式存储的较慢的内核外处理。所以它的核心是缩短IO等待时间。

结论

预计平均CPU利用率会更高。假设你想计算 N 数字与实现无关,渐近操作数将是相同的。然而,如果数据在内存中,您可以预期较低的总时间和较高的平均CPU使用率,而如果数据在磁盘上,您可以预期较高的总时间和较低的平均CPU使用率(较高的IO等待)。

一些评论 :

• Spark和Hive的设计目标并不相同。Spark更像是ETL/流式ETL工具、Hive数据库/数据仓库。这意味着引擎盖下的优化不同,根据工作负载的不同,性能可能会有很大差异。

  在没有上下文的情况下比较资源使用情况没有多大意义。

• 总的来说,Spark不那么保守,更需要资源。它既反映了设计目标,也反映了硬件的发展。Spark比Spark年轻几岁,硬件成本大幅下降就足够了。