如何将带备忘录的调用与外部程序并行?

我有一个用python编写的数据处理程序,需要在一个阶段调用外部程序。分析表明,大约50%的总处理时间都花在这一阶段。

我有一个多核的计算机,所以并行性似乎是解决方案。问题是,电话被记录下来了:

def one_stage_of_processing(long_list_of_inputs, cache={}):
    outputs = []
    for input in list_of_inputs:
        outputs.append(expensive_external_processing(input, cache))
    return outputs

def expensive_external_processing(input, cache):
    if input not in cache:
        cache[input] = subprocess.run(...).stdout
    return cache[input]

而且使用C语言的经验让我对破坏缓存的竞争环境保持警惕。

什么是最好的,最蟒蛇的方式并行化这一阶段的处理?我想保留备忘录,因为删除它会增加四倍的运行时间。