代码之家 › 专栏 › 技术社区 › koryakinp

批量运行任务

task-parallel-library task c#

koryakinp · 技术社区 · 7 年前

我在努力理解 System.Task ,但我不确定我所做的是否正确。我的目标是编写一个方法来并行处理一批图像。

batchSize = 3 该方法将对3个任务进行排队,并尽快并行运行所有3个任务 Task.WaitAll() 被叫去?

private static void ProcessImages(int batchSize)
{
      List<Task> tasks = new List<Task>();
      foreach (var image in ImageSource.ReadImages())
      {
            if(tasks.Count < batchSize)
            { 
                 tasks.Add(Task.Run(() => ImageProcessor.ProcessImage(image)));
            }
            else
            {
                 Task.WaitAll(tasks.ToArray());
                 tasks.Clear();
            }
      }
}

2 回复 | 直到 7 年前

Åuf 7 年前

我的理解正确吗,在batchSize=3的情况下将对3个任务进行排队,并尽快并行运行所有3个任务正在调用Task.WaitAll()?

Task.WaitAll() 这些任务是正确的,您的代码是不幸的错误,将无法按预期工作。具体地说,如果图像的数量不能被整除,它将不会对每个批之后的图像执行任务,也不会对最后一批中的图像执行任务 batchSize+1 .

有没有更优雅的方法呢?

幸运的是,分批执行任务是非常常见的要求,因此.NET已经包含了使之更容易的方法。具有 PLINQ 就这么简单:

ImageSource.ReadImages()
    .AsParallel()
    .WithDegreeOfParallelism(batchSize)
    .ForAll(image => ImageProcessor.ProcessImage(image));

Enigmativity 7 年前

另一种选择是使用微软的反应式框架(NuGet“System.Reactive”)。

这样就行了:

ImageSource
    .ReadImages()
    .ToObservable()
    .Select(image => Observable.Start(() => ImageProcessor.ProcessImage(image)))
    .Merge(maxConcurrent: 3)
    .Wait();

推荐文章

Pol Micallef · 在开放式购物车商店的分类页面上的价格前添加“起始”

8 年前

Álvaro García · 是平行的。如果源为空,ForEach启动线程?

8 年前

Dementy Yakovliev · 使用ContinueWith执行任务时,为什么Windows窗体UI被阻止?

8 年前

altwood · 任务未完成时[复制]

8 年前

Aloraman · 如何检查在相同的“异步上下文”中访问AsyncLocal

8 年前

SharmaPattar · 包含和不包含异步[重复]的任务返回类型

8 年前

Ryan Griffith · 补充/超控系统。诊断的。使用父TPL任务的上下文跟踪消息

8 年前

Christopher Pisz · 使用NetworkStream检测错误。WriteAsync

8 年前

Tobi · 聚合和连接(内部、外部、左侧,…)使用TPL数据流?

8 年前

nicks · 可以在不同的线程上等待任务完成吗?[副本]

8 年前