在python中共享进程间的数据

如何在进程之间最好地共享数据结构?

管道。

origin.py | process1.py | process2.py | process3.py

分解程序,使每个计算都是以下形式的单独过程。

def transform1( piece ):
    Some transformation or calculation.

对于测试,您可以这样使用它。

def t1( iterable ):
    for piece in iterable:
        more_data = transform1( piece )
        yield NewNamedTuple( piece, more_data )

为了在一个过程中复制整个计算,可以这样做。

for x in t1( t2( t3( the_whole_structure ) ) ):
    print( x )

您可以用一点文件I/O来包装每个转换。pickle可以很好地完成这项工作,但是其他表示(如json或yaml)也可以很好地完成这项工作。

while True:
    a_piece = pickle.load(sys.stdin)
    more_data = transform1( a_piece )
    pickle.dump( NewNamedTuple( piece, more_data ) )

每个处理步骤都成为独立的操作系统级进程。它们将并发运行,并将——立即——消耗所有操作系统级的资源。

是否有一种方法可以在不使用锁的情况下处理延迟评估问题(多个进程写入相同的值)?

管道。