代码之家  ›  专栏  ›  技术社区  ›  Boris Gorelik

在本地计算机上运行dask时,是否应创建“client”对象?

  •  0
  • Boris Gorelik  · 技术社区  · 4 年前

    我跑了 dask 分布式作业在本地计算机上,我想利用所有可用的CPU,而不关心诊断仪表板。创建一个 Client 这个场景中的对象?

    我这么问是因为创建这样一个对象在脚本启动过程中需要一些时间,我想缩短这段时间。

    0 回复  |  直到 4 年前
        1
  •  0
  •   mdurant    4 年前

    文件中明确说明了这一点: https://docs.dask.org/en/latest/scheduler-overview.html

    简而言之:可能,这取决于您正在运行的工作负载类型。线程具有最低的延迟和内存共享,但不会并行化需要GIL的代码。分布式调度器允许您进行更多配置,例如线程/进程混合、内存限制等。