代码之家 › 专栏 › 技术社区 › saurabh

熊猫数据框优化查询

dataframe pandas python

saurabh · 技术社区 · 8 年前

我有一个相当大的数据帧,有超过100000条记录。我需要在此数据帧的数字字段上重复执行范围搜索。我可以使用loc或query执行此搜索,但这需要很多时间。我想原因是现在这是一次暴力搜查。有什么方法可以在这个数字字段上生成索引,这样我就可以在这个字段上进行更好的优化范围搜索。

示例数据帧-

field1   field2   field3
red        car     1000000000
green      truck   2000000000
yellow     bus     3000000000
white      bike    4000000000
black      cycle   5000000000

搜索-

dataframe.query(field3 > 1000000000 & field3 < 5000000000)

我在for循环中使用这个查询,这个循环大约运行6000次。我的全部代码大约需要25分钟。从150毫秒开始,拨打6000次将是900秒,即15分钟。如果我能在这个字段上创建一个索引,那么我认为查询时间将会大大缩短。

1 回复 | 直到 8 年前

hilberts_drinking_problem 8 年前

一种方法是对数值列排序,然后使用searchsorted+iloc。例如。

df.iloc[df.field3.searchsorted(min_v, 'left'):df.field3.searchsorted(max_v, 'right')]

这个速度似乎是 df.query 在我的机器上有10万张唱片。

如果您提前知道查询集,您可以做得更好。例如,假设有数组 mins 和 maxs 具有 len(mins) == len(maxs) == 6000 . 你可以预先计算

min_ix = df.field3.searchsorted(mins, 'left')
max_ix = df.field3.searchsorted(maxs, 'right')

并通过

for i, j in zip(min_ix, max_ix):
    print(df.iloc[i:j])

推荐文章

TheCodeNovice · R中符号格式的尾随零和其他问题[重复]

1 年前

Daniel Estévez · 扩展数据帧以包含不存在的值

1 年前

T Richard · 根据条件交换分组数据中的字符串或值

1 年前

Homer Jay Simpson · R中flextable的标题字体和垂直合并

1 年前

RKIDEV · Panda迭代行并将第n行值乘以下一(n+1)行值

1 年前

Ssong · 如何有条件地运用资本化?

1 年前

Marcio Lino · 在Pandas中转换多个值列

1 年前

Ray · 在Python pandas包中使用groupby函数时,输出结果存在差异的原因是什么?

1 年前

RobertF · 如果列没有表头,如何在R数据帧中引用变量名?

1 年前

Homer Jay Simpson · ggplot2`geom_label()中的警告消息`

1 年前