代码之家 › 专栏 › 技术社区 › Parand

用Python将S3数据并行/异步下载到EC2?

amazon-ec2 amazon-s3 python

Parand · 技术社区 · 16 年前

我在S3中存储了大量需要分析的数据文件。每批包含约50个文件,每个文件都可以独立分析。

我想设置将S3数据并行下载到EC2实例中,并设置触发器,启动对下载的每个文件的分析过程。

是否有任何库可以处理异步下载,在完整模型上触发?

3 回复 | 直到 16 年前

Parand 16 年前

为了回答我自己的问题,我最终对Amazon S3 python库进行了一个简单的修改,允许您分块下载文件或逐行读取。 Available here .

Nathan Stocks 16 年前

“Twisted是一个用Python编写的事件驱动网络引擎,并在MIT许可证下获得许可。”

我已经在相当多的异步项目中使用了扭曲的python,这些项目涉及通过互联网和子流程进行通信。

Jay 16 年前

我不知道有什么已经存在的东西能完全满足你的需求,但即使没有,它也应该很容易与Python结合在一起。对于线程方法,您可以看看这个 Python recipe 它执行多线程HTTP下载以测试下载镜像。

编辑

推荐文章

SirBT · 如何解决以下EACCES:在我的nodejs应用程序中拒绝权限?

1 年前

Danushka Amith Weerasingha · AWS EC2 Windows Server 2022实例尝试使用AWS SM控制台安装git

1 年前

João Denari · 将Node.js后端连接到AWS RDS MySQL数据库时出现问题

1 年前

leunghon · 更新了aws-ec2上的Django应用程序,但工作失败

1 年前

vitaxa135 · 如何在EC2实例上配置AWS内部的gitlab runner

1 年前

pyTRON · EC2服务器和AWS控制台之间磁盘使用数据的差异:寻求指导

1 年前

Yusuf Bouzekri · 常规服务器和AWS EC2实例之间的差异

1 年前

Bik · 查询如何使用EC2连接实例

2 年前

Debajyoti Bhattacharjee · 仅接受来自我的域的请求的AWS AWF规则

2 年前

Mustafa Arslan · 如何在Ubuntu Apache2 AWS EC2 Laravel项目上调试HTTP ERROR 500

2 年前