代码之家  ›  专栏  ›  技术社区  ›  Mister Mystère

是否可以使用线程来加速文件读取?

  •  16
  • Mister Mystère  · 技术社区  · 16 年前

    我想以尽可能快的速度读取一个文件(40k行)[编辑:其余的都过时了]。

    • 每个条目文件有一个线程读取整个条目,并将其内容存储在相关联的容器中(->与入口文件数量相同的容器)
    • 一个线程计算输入线程读取的每个单元格的线性组合,并将结果存储在出口容器(与输出文件关联)中。

    事先谢谢。

    6 回复  |  直到 16 年前
        1
  •  31
  •   Andres Jaan Tack    16 年前

    当你进一步问的时候,你的问题有点深了。我会尽量考虑你所有的选择。。。

    阅读 一个 文件:有多少线程?

    一 线程。

    如果您直接从一个线程前后读取一个文件,操作系统将不会像您所想的那样获取小块文件。相反,它会的 文件以巨大的(指数级增长)块的形式呈现在您面前,因此您几乎从不为进入磁盘而支付罚款。您可能会等待磁盘几次,但一般来说,它会像文件已经在内存中,这甚至是不考虑 mmap .

    操作系统在这方面很在行 文件读取,因为它是可预测的。当你从多个线程读取一个文件时,你实际上是在读取 随机, 这(显然)是不可预测的。预取器往往是 效率要低得多

    注意:这甚至在您添加设置线程和所有其他线程的成本之前。这也需要一些成本,但与更多阻止磁盘访问的成本相比,基本上不算什么。

    使用尽可能多的线程,因为你有文件(或一些合理的数字)。

    对每个打开的文件分别进行文件预取。一旦开始读取多个文件,就应该并行读取其中的几个文件。这是因为磁盘 I/O Scheduler 将尝试找出最快的顺序来阅读所有的内容。通常,操作系统和硬盘本身都有一个磁盘调度程序。同时,预取程序仍然可以完成它的工作。

    并行读取多个文件是非常困难的 总是更好 而不是一个接一个地读文件。如果你一次只读一个,你的磁盘会在两次预取之间闲置;这是将更多数据读入内存的宝贵时间!唯一可能出错的方法是RAM太少,无法支持许多打开的文件;这已经不常见了。

    一句警告:如果你对多个文件的读取过于热心,那么读取一个文件会开始将其他文件的位从内存中踢出,你又回到了随机读取的状态。

    结合 n 一个文件。

    从多个线程处理和生成输出可能是可行的,但这取决于您需要如何组合它们。无论如何,您必须小心如何同步线程,尽管确实有一些相对简单的无锁方法可以做到这一点。

    不过,需要注意的一点是:不要费心把文件写得太小<4K)块。收集 在你打电话之前 write() 写入() 从你所有的线一起;他们都会互相等待,而不是处理更多的数据。

        2
  •  18
  •   Amardeep AC9MF    16 年前

    由于创建线程和上下文切换的开销,您的建议很可能会降低访问速度。更多的线程只有在您

    1) 你有额外的核心可以帮助你的工作

    2) 阻塞和其他线程可以在等待其他线程解除阻塞时工作

    3) 您有一个非常聪明的算法,它利用了缓存行为

    您的速度很可能是受磁盘和/或内存带宽的限制,而不是计算限制,因此单个执行线程可以将这些限制最大化。

        3
  •  4
  •   Jerry Coffin    16 年前

        4
  •  4
  •   valdo    16 年前

    与其他读者相比,我认为 理论上 即使您运行的是SP(单处理器)系统,也会有一些好处。 然而,我从来没有这样做多达40K线(假设你谈论正常大小的线)。

    关键是Amardeep的答案,他/她说当一个线程变得 此 路 不通 因为某种原因。

    现在,映射文件如何“工作”? 当您第一次访问该区域中的内存页时,处理器会生成一个页错误。操作系统将文件的内容(包括磁盘访问)加载到内存页。然后执行返回到线程。

    我也相信在页面错误时,操作系统会填充一堆连续的页面,而不仅仅是单个页面。

    现在,重要的是,在页面错误处理过程中,线程 暂停的

    因此,如果你看一下时间刻度,你会看到一个由两部分组成的周期:一个是CPU被加载(在这里你读取页面的内容并进行一些处理),另一个是CPU几乎处于空闲状态,磁盘上的I/O被执行。

    1. 当一个线程被I/O阻塞时,另一个线程有机会加载CPU(如果是MP系统,则加载多个CPU)。

    例如,当从HD驱动器读取许多不同的扇区时,您实际上可以在一次磁盘旋转中读取所有扇区。

    对于一个至少有几十兆字节的文件,我会尝试这样做。

        5
  •  1
  •   John    16 年前

    这是一个安全问题 你有一个小文件,很少处理。一个线程可能会在一个时间片中吞噬整个文件,然后在下一个时间片中处理它。两条线总比一条差。在考虑将并行性作为性能解决方案之前,您需要一个更大的任务。

        6
  •  -1
  •   epatel    16 年前

    我是这样想的。

    你有8个核心,所以做8个线程。让每个线程解析文件的一个块。所以你需要得到设备/磁盘块的大小。当一个块被一个线程解析后,让线程解析一个尚未“分配”给线程的新块。

    另一个想法,我会有两个线程。一个解析线程和一个只在文件的磁盘块上移动的线程,即只读取每个块的第一个字节,从而迫使文件以尽可能快的速度读入内存。

    但是,这可以变成一场竞赛。没有什么比做真实的跑步更棒了!人们会给你看的!:)找到一个合适的价格!