![]() |
1
1
一种方法是禁用Spark应用程序项目的并行测试执行,以确保此时只有一个Spark会话对象实例处于活动状态。在sbt语法中,它将如下所示:
缺点是,这是每个项目的设置,它也会影响将受益于并行化的测试。解决方法是为Spark测试创建一个单独的项目。 |
![]() |
user3579222 · 阅读以前的Spark API 4 月前 |
![]() |
JFlo · 在PySpark笔记本中读取多个Parquet文件 5 月前 |
![]() |
Nakeuh · 从数组列中新建数据帧列 10 月前 |
![]() |
maximodesousadias · 如何根据条件删除日期后的记录 10 月前 |
![]() |
SUBHOJEET · 如何使用pyspark读取rds文件? 1 年前 |