代码之家 › 专栏 › 技术社区 › farjam

在AWS CLI中将所有csv文件合并为一个csv

amazon-s3 amazon-web-services

farjam · 技术社区 · 6 年前

我有一个S3存储桶,其中有一个名为batch的文件夹。在批处理文件夹中,我有20个CSV文件。使用AWS ClI(确切地说是bash文件),我如何将所有这些csv文件合并到一个csv文件中,并将其向上移动到一个文件夹中。

通常在终端中,我是这样做的:

cd batches && cat ./*csv > combined.csv

对于AWS CLI中的S3存储桶,有什么类似的方法可以做到这一点?

0 回复 | 直到 6 年前

jellycsc 6 年前

如果你总共只有20个CSV文件,那么Marcin的建议可能是正确的选择。如果你有更大的CSV,那么我建议你利用S3中的多部分上传,并在aws-lambda中处理它们。

推荐文章

Tim · 在java中,有没有更快的方法将字节数组写入文件?

1 年前

DSATH · 我的lambda在代码完成之前就结束了,我不知道为什么

1 年前

explorer · AWS SageMaker项目模板创建失败

1 年前

Nitrox · Terraform-创建AWS S3存储桶策略错误-策略格式错误:字段版本未知

1 年前

Keegan Husom · pd.to_detime()在转换对象时工作不一致

1 年前

Joao Fernando Fernandes Montes · 将S3存储桶中任何文件夹中的文件公开

2 年前

Scarface Jr · 如何获取S3中具有Key Error和异常的对象列表

2 年前

Sunil Garg · 使用nodejs在S3上传文件时出现格式问题

2 年前

ccohen · Github操作和创建用于创建RDS的S3 bucket

2 年前

DataGuy · 将一个S3存储桶中的一个文件复制到另一个S3储存桶中的密钥

2 年前