消除重复-我要用一套吗?

def sorted_paths(filename):
    with open(filename) as f:
       gen = (matches(line) for line in f)
       s = set(match.group(1) for match in gen if match)
    return sorted(s)

这是一个很好的方法,无论是在性能方面还是在简洁性方面。

只有顺序无关紧要(因为集合是无序的),并且类型是可散列的(哪些字符串是散列的)。

只有在任何地方都应该有完整的路径名,如果在Windows中,名称可以是不同的大小写,因为它们不区分大小写。同样在Python中,您也可以使用/而不是\(是:小心地转义反斜杠)。

http://www.domain.com 意思是一样的,你应该停止如何正常化。

你可以用字典来存储你的路径。

from collections import defaultdict
h=defaultdict(str)
uniq=[]
for line in open("file"):
    if "pattern" in line:
       # code to extract path here.
       extractedpath= ......
       h[extractedpath.strip()] = "" #using dictionary to store unique values
       if extractedpath not in uniq:
           uniq.append(extractedpath) #using a list to store unique values