在MySQL中生成海量数据集报表的最有效方法

1)两层——原始数据和汇总数据。对于原始数据,索引可能没有帮助。您正在进行聚合,在大多数情况下需要进行全表扫描。如果没有,重新组织,它会更快。

2)找出您的聚合,自动生成它们,并从聚合数据中运行报告。索引这些汇总表!

3)避免连接。聚合,具体化group bys的结果,然后加入聚合结果。

4)分区。将数据与另一天的数据分开一天(或任何有意义的粒度)。如果需要,可以制作自动表创建脚本(长大后——或者功能很重,这取决于您的观点——数据库提供了一种称为“分区”的东西,以便以更明智的方式完成这项工作)。

5)阅读“数据仓库” http://en.wikipedia.org/wiki/Data_warehouse

你可以开始做两件事:

1. 确保在所有过滤器上添加索引,这样它们就不会进行任何表扫描。

2. 使用查询计划分析器进行检查,以确保没有需要优化的地方。

3. 由于您的表中有一个日期时间戳,分区在将来一定会对您有所帮助。

祝你好运。

您可以期望一些常见的查询,与可以生成的过滤器的唯一组合的数量相比,可能只有一小部分。您可以使用它将数据“压缩”到相应的表中,并在夜间运行这个收集过程。