代码之家 › 专栏 › 技术社区 › Arsenius

使用aws lambda和s3正确上载大文件(有现有限制)

limit aws-lambda upload amazon-s3 node.js

Arsenius · 技术社区 · 6 年前

aws lambda对post/put大小请求的当前限制为6MB S3多部分上传的当前限制是5MB块大小

上传请求中的5MB编码文件实际上占用了超过6MB的空间,因此直接上传块到lambda函数的解决方案不起作用。

如何正确地实现大文件上传(超过5MB)?

经过一番挣扎之后,我找到了一个解决方案,首先将对象过期规则用作上载子块的临时文件,然后在上载子块之后,我上载具有提供的子块ID的正常块,以从临时文件中获取它,然后在lambda函数中将上载块与子块连接起来,使一个部分至少为5MB。这个解决方案是可行的,但是我仍然需要等待子块被上传,所以完全并行的多部分上传解决方案不会这样工作(我们仍然需要等待子块被上传)。

用s3和aws lambda的极限来解决这个问题有什么更好的方法吗?

1 回复 | 直到 6 年前

推荐文章

Tim · 在java中,有没有更快的方法将字节数组写入文件?

4 月前

DSATH · 我的lambda在代码完成之前就结束了,我不知道为什么

6 月前

explorer · AWS SageMaker项目模板创建失败

10 月前

Nitrox · Terraform-创建AWS S3存储桶策略错误-策略格式错误:字段版本未知

10 月前

Keegan Husom · pd.to_detime()在转换对象时工作不一致

11 月前

Joao Fernando Fernandes Montes · 将S3存储桶中任何文件夹中的文件公开

1 年前

Scarface Jr · 如何获取S3中具有Key Error和异常的对象列表

1 年前

Sunil Garg · 使用nodejs在S3上传文件时出现格式问题

1 年前

ccohen · Github操作和创建用于创建RDS的S3 bucket

1 年前

DataGuy · 将一个S3存储桶中的一个文件复制到另一个S3储存桶中的密钥

1 年前