Java:在保持顺序的同时并行过滤大型文本文件

在这个特定的上下文中,在多线程环境中工作不会提高性能。

您正在执行不同线程无法完成的繁重IO操作(读写磁盘)。

一旦你加载了内容并将其写入磁盘之前,你当然可以将搜索并行化,但是对于普通的文本搜索来说,速度并不能真正提高。

在尝试应用复杂的多线程算法之前,请考虑:

• 编码时间取决于IO操作?(网络、磁盘、数据库…)

如果是的,并且微积分不重,那么花很多时间尝试加速微积分阶段不是一个好主意,因为IO操作比内存中的操作慢上百或数千倍。

顺便试着把执行时间分成以下几个部分:

• 将文件加载到内存中
• 搜索短语

如果第二阶段确实比其他阶段快,那么并行化不是一个好的解决方案,但是您必须尝试其他解决方案。