存储来自多个进程的数据的简单方法

import struct

RESULT_FORMAT = 'd' # Double-precision float.
RESULT_SIZE = struct.calcsize(RESULT_FORMAT)
RESULT_FILE = '/tmp/results'

def worker(position, input_filename1, input_filename2):
    val = MyScript(input_filename1, input_filename2)
    with open(RESULT_FILE, 'rb+') as f:
        f.seek(RESULT_SIZE * position)
        f.write(struct.pack(RESULT_FORMAT, val))

与编写一堆小文件相比,这种方法的I/O密集度也应该低很多,因为许多工作人员将在OS缓存中写入相同的页面。

(请注意,在Windows上,您可能需要一些额外的设置来允许在进程之间共享文件。)

您可以使用python并行处理支持。

• http://wiki.python.org/moin/ParallelProcessing

特别是,我要提到网络空间。

• http://www.drdobbs.com/web-development/200001971

您可以生成包含生成的子文件夹的文件夹结构,该子文件夹包含生成的子文件夹。

例如,主文件夹包含256个子文件夹,每个子文件夹包含256个子文件夹。三层就够了。您可以使用guid的子字符串来生成唯一的文件夹名称。

因此guid ab67e453467e4e53436e成为包含子文件夹67的文件夹AB,并且该文件夹包含文件夹e45344678e4e53436e。

使用2个字符的子字符串可以生成256*256个文件夹。足够存储一百万个文件。

您可以运行一个程序来收集输出,例如通过XMLRPC。