从大表中删除重复项

我认为您可以使用此查询从表中删除重复记录

ALTER IGNORE TABLE table_name ADD UNIQUE (location_id, datetime)

在做这件事之前,先用一些样本数据进行测试..然后再试试这个….

注意:在版本5.5中,它在myisam上工作,但在innodb上不工作。

SELECT *, COUNT(*) AS Count
FROM table
GROUP BY location_id, datetime
HAVING Count > 2

UPDATE table SET datetime  = null 
WHERE location_id IN (
SELECT location_id 
FROM table as tableBis
WHERE tableBis.location_id = table.location_id
AND table.datetime > tableBis.datetime)

SELECT * INTO tableCopyWithNoDuplicate FROM table WHERE datetime is not null

DROp TABLE table 

RENAME tableCopyWithNoDuplicate to table

所以你保持较低的约会时间。我不确定性能,这取决于你的表列,你的服务器等等…

这个查询对每种情况都非常有效:tested for engine:myisam for 200万行。

alter ignore table\u name add unique(位置id,日期时间)

可以使用以下步骤删除重复项: 1-将以下查询的结果导出到TXT文件中:

select dup_col from table1 group by dup_col having count(dup_col) > 1

2-将其添加到上述txt文件的第一个中,并运行最终查询:

delete from table1 where dup_col in (.....)

请注意,“…”是在第一步中创建的TXT文件的内容。