Dask中具有可重用自定义图的机会缓存

Dask 支持定义 custom computational graphs 以及 opportinistic caching . 问题是如何将它们结合使用。

例如,让我们定义一个非常简单的计算图 x+1 活动

import dask

def compute(x):
    graph = {'step1': (sum, [x, 1])}
    return dask.get(graph, 'step1')

print('Cache disabled:', compute(1), compute(2))

这将产生 2 和 3 正如所料。

现在我们启用了机会主义缓存,

from dask.cache import Cache

cc = Cache(1e9)
cc.register()

print('Cache enabled: ', compute(1), compute(2))
print(cc.cache.data)

我们得到的结果不正确 2. 在这两种情况下,因为 cc.cache.data 是 {'step1': 2} 不考虑输入。

我想这意味着需要对输入进行哈希处理(例如 dask.base.tokenize 并附加到图表中的所有键。有没有更简单的方法,尤其是 the tokenize function is not part of the public API ?

问题是,在复杂图中,随机步骤名称需要考虑提供给其子步骤的所有输入的散列,这意味着需要进行完整的图解析。