代码之家  ›  专栏  ›  技术社区  ›  Sean Nguyen

如何在集群模式下为dask设置工作节点上的线程数?

  •  1
  • Sean Nguyen  · 技术社区  · 7 年前

    with dask.config.set(pool=ThreadPool(8)):
       bag = db.from_sequence(archives)
       bag.map_partitions(extract_archives).compute()
    

    当我改为使用number_workers时,它仍然是相同的。

    with dask.config.set(num_workers=8):
       bag = db.from_sequence(archives)
       bag.map_partitions(extract_archives).compute()
    

    如何设置工作节点中运行的线程数?我在Python3.7中使用Dask。

    1 回复  |  直到 7 年前
        1
  •  0
  •   MRocklin    7 年前

    设置dask工作进程时,可以设置线程数。

    $ dask-worker --help | grep threads
      --nthreads INTEGER            Number of threads per process.