代码之家  ›  专栏  ›  技术社区  ›  rein

目录遍历的任务并行库

  •  6
  • rein  · 技术社区  · 14 年前

    我想遍历硬盘上的一个目录,并在所有文件中搜索特定的搜索字符串。这听起来像是可以(或应该)并行完成的事情的完美候选,因为IO相当慢。

    传统上,我会编写一个递归函数来查找和处理当前目录中的所有文件,然后递归到该目录中的所有目录中。我想知道怎样才能把这个修改得更平行。起初我只是简单地修改了一下:

    foreach (string directory in directories) { ... }
    

    Parallel.ForEach(directories, (directory) => { ... }) 
    

    但我觉得这可能会创建太多的任务,并使自己陷入困境,特别是当试图重新分派到UI线程上时。我也觉得任务的数量是不可预测的,这可能不是一个有效的方法,使(这是一个词?)这个任务。

    以前有人做过这样的事吗?你有什么建议?

    1 回复  |  直到 14 年前
        1
  •  15
  •   Jon Skeet    14 年前

    不,这听起来不适合并行 准确地说 因为IO很慢。你将被磁盘绑定。假设你只有一个磁盘,你不想让它同时搜索多个不同的地方。

    这有点像试图将几个软管连接到同一个水龙头上,以便更快地排出水,或者尝试在一个内核上运行16个CPU绑定的线程:)

    推荐文章