根据时间戳对多个文件的行进行排序+合并

如果您不确定您的任务是否适合可用的内存,最好在分析后插入行到数据库表中,让数据库担心如何排序数据(timestamp列上的索引将有助于:-)

如果你确定记忆没有问题,我会用 TreeMap 在添加行的同时进行排序。

确保FileEntry类实现 hashCode() , equals() 和 Comparable 按照你的分类顺序。

在每个文件中,您可以假定条目是按时间顺序排列的,因为“下一行”写在“上一行”之后。

这意味着您可能应该实现合并排序。最好将两个最小的文件合并排序,然后重复,直到有一个文件为止。

请注意,如果这些文件来自多台计算机,您仍然会使日志无序;因为,除非机器时钟通过某种可靠的方法进行同步,否则时钟将有所不同。即使它们是同步的,时钟也会有所不同;然而,它们之间的差异可能会小到不重要。

合并排序不是最快的排序,但是它有一些非常有益的副作用。也就是说,它可以对每一对文件并行实现,而且比不按顺序排序的排序快得多,它是内存消耗友好的,并且在两个文件合并结束时可以轻松地进行检查。这意味着您可以从中断的排序会话中恢复,而只会损失部分工作。