代码之家 › 专栏 › 技术社区 › MyNameIsCaleb

在Python中最有效地迭代大型词典列表

dictionary python-2.7 python

MyNameIsCaleb · 技术社区 · 6 年前

我看到了一些类似问题的答案,但我不确定它们是否是解决我问题的最佳方法。

我有一个非常大的表(100000+行20+列)作为字典列表处理。我需要使用比较对这个列表进行部分重复数据消除。我在下面简化了一个我正在做的例子。

table = [
    { "serial": "111", "time": 1000, "name": jon },
    { "serial": "222", "time": 0900, "name": sal },
    { "serial": "333", "time": 1100, "name": tim },
    { "serial": "444", "time": 1300, "name": ron },
    { "serial": "111", "time": 1300, "name": pam }
    ]

for row in table:
    for row2 in table:
        if row != row2:
            if row['serial'] == row2['serial']:
                if row['time'] > row2['time']:
                    action

谢谢你的帮助!

4 回复 | 直到 6 年前

blhsing 6 年前

你可以把这张桌子分类 serial 作为主键和 time 序列号 :

from operator import itemgetter
table = [
    { "serial": "111", "time": "1000", "name": "jon" },
    { "serial": "222", "time": "0900", "name": "sal" },
    { "serial": "333", "time": "1100", "name": "tim" },
    { "serial": "444", "time": "1300", "name": "ron" },
    { "serial": "111", "time": "1300", "name": "pam" }
]
last_serial = ''
for d in sorted(table, key=itemgetter('serial', 'time'), reverse=True):
    if d['serial'] != last_serial:
        action(d)
    last_serial = d['serial']

lvc 6 年前

对于这么多的数据来说会相当慢。相反,看看 Pandas 适用于您的用例-它已经针对此类工作进行了优化。

John Luscombe 6 年前

这个 serialNumbersList . 只有一次出现的序列号,我们知道它们不可能是重复的,所以我们从 序列号列表

khachik 6 年前

@GiraffeMan91只是为了澄清我的意思(在这里直接输入,不要复制粘贴):

serials = collections.defaultdict(list) 
for d in table:
    serials[d.pop('serial')].append(d)

def process_serial(entry):
    serial, values = entry
    # remove duplicates, take action based on time
    # return serial, processed values

results = dict(
    multiprocess.Pool(10).imap(process_serial, serials.iteritems())
)

推荐文章

eymentakak · json字典类型错误:字符串索引必须是整数

2 年前

Rohan Mittal · 按dict值对dict排序

2 年前

FÄÅ ÛÅ · 字典、列表和字符串

2 年前

mars · 将值作为元组对字典进行排序

2 年前

Sher Meen · 我需要列出一个循环中临时变量中存储的多个值

2 年前

Shubh · 如何将字典行附加到空数据帧中?

2 年前

Hariharan Ragothaman · python中多约束条件下按值排序字典

2 年前

t.pellegrom · 当您只有最后一层的键、值列表时,如何填充嵌套dict?

3 年前

kms · 从pandas中的字典中读取数据并指定新的列值

3 年前

Alex · 如何向嵌套字典json添加值?

3 年前