aws批处理作业无法运行,作业定义的内存要求很高

可能发生的一件事是,您的AWS帐户可能达到EC2实例限制。这将阻止batch启动足够大的实例以适合您的作业。

这些工作最终离开了 Runnable 并成功完成(运行的最大作业使用64GB)。因此,似乎可以使用 InstanceType 属于 optimal .

您应该做的是在EC2实例中shell并运行 docker stats 当它运行时。这将显示实际的容器内存/cpu利用率。

例如,我发现在我的计算机上以900mb运行的docker进程在ECS(wtf?)中占用了4gb。

此外,如果您的AWS批处理计算环境设置为 managed by AWS 然后,它将自动缩放实例以满足您的需要,直到达到硬限制,例如 maximum vcpu . 主机不应该耗尽内存,因为容器本身有预先分配的内存。容器将在主机之前耗尽内存。