代码之家 › 专栏 › 技术社区 › Some Name

什么能使舞台重新燃起火花

apache-spark scala

1

Some Name · 技术社区 · 7 年前

令我惊讶的是 Stage 0 重试1,重试2。什么能引起这样的事情?

我试图自己复制它并杀死了所有的执行进程( CoarseGrainedExecutorBackend )在我的一个集群机器上,但我得到的只是一些失败的任务的描述 Resubmitted (resubmitted due to lost executor) .

和

注意 3011506 Attempt 1 和 195907736 在 Attempt 0 . 阶段重试是否会导致Spark重新读取某些记录两次?

0 回复 | 直到 7 年前

1

2

Shiva Garg 5 年前

级失效可能是由于火花失效

获取失败: Reduce任务无法执行无序读取,即无法在磁盘上找到无序文件写入的无序映射任务。

如果stageFailureCount<maxStageFailures,Spark将重试该阶段,否则它将中止该阶段和相应的作业。