代码之家 › 专栏 › 技术社区 › Amelio Vazquez-Reina

火花对DASK的容错

dask pyspark apache-spark

2

Amelio Vazquez-Reina · 技术社区 · 7 年前

我读过 the following 上 数据库 已知限制部分中的文档:

它(dask)是不容错的。任何工人的故障都有可能使系统崩溃。

如果出现错误,它不会优雅地失败。

但我没看到有人提到容错 in the comparison with Spark .这些是目前 "Reasons why you might choose Spark" 以下内容:

您喜欢scala或SQL语言

你大部分都是合资企业基础设施和遗留系统

您需要一个成熟可靠的业务解决方案

您主要使用一些轻量级机器学习进行业务分析

你想要一个一体化的解决方案

我的问题:

1 回复 | 直到 7 年前

1

6

MRocklin 7 年前

那套文档页面是 非常老 也不应该是公开的。我刚把它们移走了。请看 http://dask.pydata.org/en/latest/ 以获取最新文档。

DASK对任何工人的损失都是容错的。如果中央调度程序失败,它将失败。