代码之家  ›  专栏  ›  技术社区  ›  Philip Couling

废弃的发电机所拥有的资源会怎样?

  •  1
  • Philip Couling  · 技术社区  · 7 年前

    我有一个生成器函数,它从文件中读取行并将它们解析为对象。文件太大,无法考虑将整个文件处理成一个列表,这就是为什么我使用生成器而不是列表。

    我很担心,因为当调用生成器时,我的代码有时会中断。如果它找到它要查找的内容,可以选择在从文件中读取每个对象之前停止。我不知道废弃的生成器会发生什么,更重要的是,我不知道打开的文件句柄会发生什么。

    我想避免这里的资源泄漏。


    示例代码:

    def read_massive_file(file_path)
        with open(file=file_path, mode='r', encoding='utf-8') as source_file:
            for line in source_file:
                yield parse_entry(line)
    
    for entry in read_massive_file(my_file):
        if is_the_entry_i_need(entry):
            break
    else:
        # not found
        pass
    

    我的问题是:上面的代码会让我的源文件保持打开状态,还是python会找到关闭它的方法?

    我从一个 for 循环改变什么?如果我手动获取 read_massive_file() 并称之为 next() 在放弃迭代器之前,我会看到相同的结果吗?

    1 回复  |  直到 7 年前
        1
  •  3
  •   user2357112    7 年前

    这只会在cpython上立即释放资源。在这种情况下,要真正小心资源的释放,您必须做如下事情

    with contextlib.closing(read_massive_file(my_file)) as gen:
        for entry in gen:
            ...
    

    但我从没见过有人这么做。


    当一台发电机在没有完全耗尽的情况下被丢弃时, __del__ 方法将抛出 GeneratorExit 异常进入生成器,以触发 __exit__ 方法和 finally 阻碍。在cpython上,只要循环中断并且丢弃对生成器的唯一引用,就会发生这种情况;但在其他实现(如pypy)上,只有在gc循环运行时才会发生这种情况,或者如果gc在程序结束之前没有运行,则根本不会发生这种情况。

    这个 发电机出口 在你的情况下会触发文件关闭。可能会意外地抓到 发电机出口 继续,在这种情况下,正确的清理可能不会触发,但您的代码不会这样做。

        2
  •  0
  •   chepner    7 年前

    你从来没有保存 read_massive_file ;唯一的引用在内部由 for 循环。一旦循环完成,生成器就应该被垃圾回收。

    如果你写的话就不一样了

    foo = read_massive_file(my_file):
    for entry in foo:
        ...
    else:
        ...
    

    现在你得等到 foo 超出范围(或调用 del foo 显式地)在可以收集生成器之前。