代码之家 › 专栏 › 技术社区 › Mr Fooz

GNU make中的互斥作业调度?

gnu-make parallel-processing scheduling

Mr Fooz · 技术社区 · 17 年前

使用GNU make,当使用“-jobs”选项时,是否可以创建一组永远不会同时计划的目标?

背景:

为了使这一点更加具体化,请考虑窗体的Maple文件。

p1: ...deps... # no parallelization conflicts (can run at the same time as p*, e*)
        ...rules...

p2: ...deps... # no parallelization conflicts (can run at the same time as p*, e*)
        ...rules...

p3: ...deps... # no parallelization conflicts (can run at the same time as p*, e*)
        ...rules...

e1: ...deps... # cannot run at same time as any other e*
        ...rules...

e2: ...deps... # cannot run at same time as any other e*
        ...rules...

e3: ...deps... # cannot run at same time as any other e*
        ...rules...

我需要做的主要事情是确保e1、e2和e3不会同时处理,因为它们在资源有限的嵌入式设备上执行某些工作。如果它们中的多个同时执行,它们就会崩溃。p1、p2和p3可以与任何东西并行执行,包括任何e*作业。

请注意,实际的makefile有几千个目标,它们的依赖关系树大约有10层深,因此我希望有一种方法可以做到这一点:(a)不需要连续运行make;(b)保留在makefile中编码依赖关系树的好处。

2 回复 | 直到 17 年前

Antti Huima 17 年前

您可以选择使用“flock”在独占锁下运行“e”规则。有关详细信息,请参见人群(1)。例如,代替

e2: deps
    my_cmd foo bar

e2: deps
    flock .embedded-device-lock -c my_cmd foo bar

然后,所有“e”目标都由make并行启动(可能),但实际命令将串行执行。

David Z 17 年前

这不是一个完美的解决方案,但您可以使用仅限订单的先决条件对e*目标实施特定的订单:

e1: ...deps...
    ...commands...
e2: ...deps... | e1
    ...commands...
e3: ...deps... | e2 e1
    ...commands...

管道符号“|”后的先决条件仅为顺序:如果e1或e2已更改,它们不会强制(例如)更新e3,但它们确实要求e1和e2的所有命令在e3命令启动之前完成运行。

make 选择订单,但实际上您可能可以手动计算出合理的订单。

推荐文章

davidalayachew · 为什么我的文件有竞争条件,即使我使用了StandardOpenOption。同步?

1 年前

Anshuman Sinha · 使用OCR将多个img文件多重处理为文本

2 年前

Rishab · 在并行Java中运行函数

2 年前

Ahmed El-Gabbas · 在函数内运行时,仅将特定对象导出到处理节点

2 年前

Deep · 当您并行化代码时,如何保存两个独立的CSV?

2 年前

Setu · MPI代码的哪些部分是复制的,哪些是共享的?

2 年前

Alexander Obidiegwu · 多处理代码在while循环中不起作用

2 年前

heyula · 如何在mpi中定义本地数组?

2 年前

Rebel · 如何以最有效的方式加速和并行化以下matlab代码?

3 年前

Kaushik Ghosh · 最佳方法在PySpark中遍历数据帧的行

3 年前