代码之家  ›  专栏  ›  技术社区  ›  Ricardo Cruz

Python:并发文件查找

  •  1
  • Ricardo Cruz  · 技术社区  · 10 年前

    我正在寻找一种允许并发文件对象查找的方法。

    作为文件查找谨慎的测试案例:

    #!/usr/bin/env python2
    import time, random, os
    s = 'The quick brown fox jumps over the lazy dog'
    
    # create some file, just for testing
    f = open('file.txt', 'w')
    f.write(s)
    f.close()
    
    # the actual code...
    f = open('file.txt', 'rb')
    def fn():
        out = ''
        for i in xrange(10):
            k = random.randint(0, len(s)-1)
            f.seek(k)
            time.sleep(random.randint(1, 4)/10.)
            out += s[k] + ' ' + f.read(1) + '\n'
        return out
    
    import multiprocessing
    p = multiprocessing.Pool()
    n = 3
    res = [p.apply_async(fn) for _ in xrange(n)]
    for r in res:
        print r.get()
    f.close()
    

    我有工作进程,它在文件中随机搜索,然后 sleep 然后 read .我比较了他们 阅读 到实际的字符串字符。我不会立即打印,以避免打印并发问题。

    你可以看到,当 n=1 ,一切顺利,但当 n>1 由于文件描述符中的并发性。

    我已尝试在中复制文件描述符 fn() :

    def fn():
        fd = os.dup(f)
        f2 = os.fdopen(fd)
    

    然后我使用 f2 。但似乎没有帮助。

    如何同时进行搜索,即从多个进程进行搜索?(在这种情况下,我可以 open 中的文件 fn() ,但这是MWE。在我的实际情况中,这很难做到。)

    1 回复  |  直到 10 年前
        1
  •  0
  •   Tim Peters    10 年前

    您不能—Python I/O构建在C的I/O之上,并且在C中每个打开的文件只有一个“当前文件位置”,这是固有的共享。

    您可以做的是在进程间锁的保护下执行查找+读取。

    类似定义:

    def process_init(lock):
        global seek_lock
        seek_lock = lock
    

    在主进程中,将此添加到 Pool 构造函数:

    initializer=process_init, initargs=(multiprocessing.Lock(),)
    

    然后,无论何时你想寻找和阅读,都要在锁的保护下进行:

    with seek_lock:
         f.seek(k)
         char = f.read(1)
    

    与任何锁一样,在持有锁时,您希望尽可能少地执行逻辑必要的操作。它不允许并发查找,但它将防止一个进程中的查找干扰其他进程中的搜索。

    当然,最好在每个进程中打开文件,这样每个进程都有自己的文件位置概念,但您已经说过不能这样做。重新思考;-)