正在初始化dask分布式工作进程上的状态

您总是可以构建一个惰性资源,比如

class GiveAResource():
    resource = [None]
    def get_resource(self):
        if self.resource[0] is None:
            self.resource[0] = MyResource()
        return self.resource[0]

这样的一个实例将在进程之间串行化,因此您可以将其作为输入包含到任何要在worker上执行的函数中,然后调用 .get_resource() 它将获得您当地昂贵的资源(将在以后出现的任何worker上重新制作)。

此类最好在模块中定义,而不是在动态代码中定义。