代码之家 › 专栏 › 技术社区 › mightypile

如何在单个python iterable上同时具有多个迭代器?

itertools combinatorics for-loop python-3.x python

mightypile · 技术社区 · 7 年前

我想把iterable对象中的所有元素进行组合比较。以下可重复的示例只是模拟了普通列表的功能,但演示了我的问题。在这个例子中,有一个[a”,“B”,“C”,“D]的列表,我想得到以下16行输出,每个项目的每个组合彼此。100个项目的列表应生成100*100=10000行。

A A True
A B False
A C False
... 10 more lines ...
D B False
D C False
D D True

下面的代码似乎应该完成这项工作。

class C():
    def __init__(self):
        self.stuff = ["A","B","C","D"]
    def __iter__(self):
        self.idx = 0
        return self
    def __next__(self):
        self.idx += 1
        if self.idx > len(self.stuff):
            raise StopIteration
        else:
            return self.stuff[self.idx - 1]

thing = C()
for x in thing:
    for y in thing:
        print(x, y, x==y)

但是在完成y形循环后,x形循环似乎也完成了,即使它只用于iterable中的第一项。

A A True
A B False
A C False
A D False

经过多次搜索,我最终尝试了以下代码,希望itertools。tee允许我在相同的数据上使用两个独立的迭代器:

import itertools
thing = C()
thing_one, thing_two = itertools.tee(thing)
for x in thing_one:
    for y in thing_two:
        print(x, y, x==y)

但我得到了和以前一样的输出。

它所代表的真实对象是目录和文件结构的模型,其中文件和子目录的数量不同,在树中的深度也不同。它有到数千个成员的嵌套链接,并在这些成员上正确迭代一次,就像这个例子一样。但它也会根据比较的需要在许多内部对象中进行昂贵的处理,如果我必须在迭代之前制作一个完整的副本,这将导致工作量加倍。如果可能的话,我真的希望使用多个迭代器,指向一个包含所有数据的对象。

编辑答案:所有答案中都指出,问题代码中的关键缺陷是单一的内在自我。idx变量无法独立处理多个调用者。对于我的真实类来说,公认的答案是最好的(在这个可复制的示例中过于简单),另一个答案为更简单的数据结构提供了一个简单、优雅的解决方案,如这里列出的列表。

2 回复 | 直到 7 年前

MSeifert 7 年前

实际上,不可能创建一个作为自己迭代器的容器类。容器不应该知道迭代器的状态,迭代器也不需要知道容器的内容,它只需要知道哪个对象是对应的容器以及它在哪里。如果混合使用迭代器和容器,则不同的迭代器将彼此共享状态(在您的示例中 self.idx )这将不会给出正确的结果(它们读取和修改相同的变量)。

这就是为什么所有内置类型都有一个单独的迭代器类(甚至有些类型有一个反向迭代器类):

>>> l = [1, 2, 3]
>>> iter(l)
<list_iterator at 0x15e360c86d8>
>>> reversed(l)
<list_reverseiterator at 0x15e360a5940>

>>> t = (1, 2, 3)
>>> iter(t)
<tuple_iterator at 0x15e363fb320>

>>> s = '123'
>>> iter(s)
<str_iterator at 0x15e363fb438>

所以,基本上你可以回来 iter(self.stuff) 在里面 __iter__ 然后放下 __next__ 完全是因为 list_iterator 知道如何迭代列表:

class C:
    def __init__(self):
        self.stuff = ["A","B","C","D"]
    def __iter__(self):
        return iter(self.stuff)

thing = C()
for x in thing:
    for y in thing:
        print(x, y, x==y)

按预期打印16行。

如果您的目标是创建自己的迭代器类,则需要两个类(如果您想自己实现反向迭代器,则需要3个类)。

class C:
    def __init__(self):
        self.stuff = ["A","B","C","D"]
    def __iter__(self):
        return C_iterator(self)
    def __reversed__(self):
        return C_reversed_iterator(self)

class C_iterator:
    def __init__(self, parent):
        self.idx = 0
        self.parent = parent
    def __iter__(self):
        return self
    def __next__(self):
        self.idx += 1
        if self.idx > len(self.parent.stuff):
            raise StopIteration
        else:
            return self.parent.stuff[self.idx - 1]

thing = C()
for x in thing:
    for y in thing:
        print(x, y, x==y)

同样有效。

class C_reversed_iterator:
    def __init__(self, parent):
        self.parent = parent
        self.idx = len(parent.stuff) + 1
    def __iter__(self):
        return self
    def __next__(self):
        self.idx -= 1
        if self.idx <= 0:
            raise StopIteration
        else:
            return self.parent.stuff[self.idx - 1]

thing = C()
for x in reversed(thing):
    for y in reversed(thing):
        print(x, y, x==y)

您可以使用生成器,而不是定义自己的迭代器。另一个答案中已经显示了一种方式:

class C:
    def __init__(self):
        self.stuff = ["A","B","C","D"]
    def __iter__(self):
        yield from self.stuff
    def __reversed__(self):
        yield from self.stuff[::-1]

或者显式地委托给生成器函数(这实际上等同于上述内容,但可能更清楚的是,这是一个生成的新对象):

def C_iterator(obj):
    for item in obj.stuff:
        yield item

def C_reverse_iterator(obj):
    for item in obj.stuff[::-1]:
        yield item

class C:
    def __init__(self):
        self.stuff = ["A","B","C","D"]
    def __iter__(self):
        return C_iterator(self)
    def __reversed__(self):
        return C_reverse_iterator(self)

注意:您不必实现 __reversed__ 迭代器。这只是答案的附加“特征”。

user2357112 7 年前

__iter__ 完全损坏。它不是在每次调用时都创建一个新的迭代器,而是重置 self 和返回 自己 . 这意味着您在对象上一次不能有多个迭代器,并且任何对 __iter__ 当对象上的另一个循环处于活动状态时,将干扰现有循环。

你需要做一个新的物体。最简单的方法是使用 yield 编写生成器函数的语法。生成器函数每次都会自动返回一个新的迭代器对象:

class C(object):
    def __init__(self):
        self.stuff = ['A', 'B', 'C', 'D']
    def __iter__(self):
        for thing in self.stuff:
            yield thing