代码之家 › 专栏 › 技术社区 › ddd

如何启动EC2实例并按需运行任务

amazon-s3 numpy amazon-web-services python

ddd · 技术社区 · 7 年前

我们正在AWS上开发一个深度学习应用程序。模型训练的自动化是相当具有挑战性的。第一步是为训练准备数据,训练包括从数十万个小型2D numpy阵列生成一个巨大的3D numpy阵列(>100GB)。小的numpy数组作为小文件保存在S3 bucket中。转换后,大numpy数组将保存到另一个S3存储桶中。训练脚本将在训练前拾取大3D numpy阵列。因为lambda函数有内存限制,所以我们必须手动启动EC2实例。

整个工作流程可能会使用AWS step功能实现自动化。

3 回复 | 直到 7 年前

Matus Dubrava 7 年前

我会选择最简单的解决方案,因为这不是那么复杂的任务(从架构的角度来看)。

为存储新大3D阵列的存储桶配置S3事件,以便在对象放入存储桶后触发lambda函数(如果在同一个存储桶中存储所有/不同的数据,则可以更细粒度地根据前缀触发lambda函数)。

user data 脚本,下载必要的文件并运行任务(这可以使用boto3 for Python完成)。

在这种情况下使用CloudFormation将是过分的(我的观点)。

Will Evers 7 年前

Julien Simon 7 年前

你是否考虑过使用Amazon SaGeMaCK?很容易配置可重复的培训作业。我很乐意听取您的反馈并回答任何问题。

推荐文章

hallibut · Lambda功能不工作的SST热重新加载

1 年前

Tim · 在java中,有没有更快的方法将字节数组写入文件?

1 年前

Tom McLean · 如何使用证书管理器制作的证书在AWS上创建到mongodb实例的TLS/SSL连接?健康检查失败

1 年前

Nuñito Calzada · AWS SDK 1.12.780 Java版的凭据

1 年前

Sampgun · CDN调用与lambda调用的巨大差异

1 年前

Mario MateaÈ · 无法从Elastic Beanstalk的EC2实例访问外部MongoDB Atlas数据库

1 年前

Tiago · 如何允许从一个安全组到另一个组的所有流量?

1 年前

Ercan Koc · 使用EKS和RDS Aurora在My VPC中努力切换到IPv6

1 年前

Andrew · CloudWatch错误:规则JobFailureRule应在堆栈范围内创建,但找不到堆栈

1 年前

explorer · AWS SageMaker项目模板创建失败

1 年前