代码之家 › 专栏 › 技术社区 › Dima

我的MariaDB更新中是否存在任何明显的瓶颈?

mariadb mysql python

-2

Dima · 技术社区 · 10 月前

我有一个MariaDB表,有2800万行。我需要用列中的新值更新所有行(本地)。这是Python中要批量更新的代码:

update_query = "UPDATE table SET column = %s WHERE `index` = %s"
%time cursor.executemany(update_query, update_data)

column 具有索引,并且 index 是主键。

当我使用一批100000行时,运行 executemany() 。我不确定这是很慢还是正常。如果速度很慢,我不知道从哪里开始加速。

1 回复 | 直到 10 月前

Barmar 10 月前

不像 INSERT , executemany() 无法自动批处理 UPDATE 查询,因此瓶颈是执行100000个查询。

相反,使用 INSERT INTO ... ON DUPLICATE KEY UPDATE ... 。这将自动进行批处理。

update_query = 'INSERT INTO table (column, index) VALUES (%s, %s) ON DUPLICATE KEY UPDATE column = VALUES(column)'
%time cursor.executemany(update_query, update_data)

推荐文章

July · 如何定义数字间隔,然后四舍五入

12 月前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

12 月前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前